5G通信网络的mMTC功能特性将成倍扩展大数据的Variety特性
如表8–7所示,随着共享自行车、智能家居等新业态的迅猛发展,近年来物联网连接数成倍增长,5G通信网络mMTC大连接技术的引入,将支持每平方公里百万级的连接数,能够为各类物联网应用带来更多的适用场景,诸如智能家居、穿戴设备、工业控制、环境监测、社会治理等物联网应用领域将支持更多的连接,这些不同应用情景下的物联网连接会给大数据平台引入更加多样化的数据类型,基于多种类型大数据开展关联分析,必将进一步促进大数据应用百花齐放。
表8–7 中国移动2015—2018年物联网连接数情况
来源:中国移动年报。
5G通信网络的“产业联合创新”特性将深入挖掘大数据的Value特性
5G通信网络的“产业联合创新”特性使得其在垂直行业能够发挥更大的作用,在5G研究阶段,运营商就纷纷联合产业合作伙伴开展跨行业的联合创新,将5G终端和模组应用到各行各业,云端系统可以获取各行业的大数据,并将这些数据进行关联聚合,催生更有价值的大数据应用,更好地服务于跨行业数据分析。
同时,大数据也能进一步提升5G通信网络的运营、运维工作的自动化、智能化水平,5G网络架构采用SBA架构模式,在基础设施层面采用云化技术,从而让5G网络与传统网络相比,更具动态性,更加适合于软件控制与调整。利用大数据平台能力,自动采集网络运行的告警及各类指标数据,开展数据分析工作,洞察网络运行状况,能够进一步帮助网络管理人员调整网络运行策略,降低网络运维成本,增强网络运行控制的自动化水平。在此基础之上,更进一步通过引入人工智能能力,提升网络运行智能化控制水平。
依托5G大数据平台,构建DataaaS能力
5G时代的大数据平台架构
5G通信网络中有数量众多的终端及传感器,以及边缘计算技术的引入,导致端点和边缘承担的作用愈加关键,数据在这些位置交付,为实时决策、个性化服务或延迟敏感的行动提供参考。
IDC发布的《数据时代2025白皮书》对于5G时代数据可能产生的位置进行了说明,其中包括核心、边缘和端点三种。核心,包括企业和云提供商专门的计算数据中心,其中涵盖了所有种类的云计算,包括公有云、私有云和混合云,此外还包括企业运营数据中心,如运行电网和电话网络的数据中心。边缘,指不位于核心数据中心的服务器和设备,包括服务器机房、位于一线的服务器、基站以及为了加快响应时间而分布在各个区域和偏远位置的较小的数据中心。端点,包括网络边缘中的所有设备,如电脑、电话、工业传感器、联网汽车和可穿戴设备等。
5G时代,端点和边缘承担的作用愈加关键,所有数据都在这些位置实时交付,这些数据用来为数据消费者提供实时决策、个性化服务或为其他对延迟敏感的行动提供信息参考。从端点收集的数据是在边缘采集的,边缘是实现智能和分析的重要位置,而基于数据的情报和分析,对于加快业务响应、改进用户体验,以及提升企业运营效率是必不可少的。
边缘和端点之间越来越关键的一种互动就是联网汽车,据IDC估算,由于在行驶中高度依赖集成在车身的大量摄像头采集和分析的视频,一辆自主式汽车每小时可产生超过3TB的数据,这还不包括资讯娱乐数据。随着车与车之间的通信逐渐普及,以及机器学习和人工智能技术不断革新车载智能驾驶算法,产生的数据将会继续增多。
为实现数据的及时服务、高效采集和减少交互,5G时代大数据平台的系统设计原则采用就近采集、分布存储以及整体向上汇聚的方式,实时数据可直接对接到应用系统,实现实时业务展现。采用批量数据分层存储方式,开发者可在每一层按需得到数据,边缘托管租户既能使用平台全网数据,又能在区域分布节点上实时管理和使用自己的个性化数据。
随着移动互联网的发展,任何OTT的业务面向的客户均为全网客户,不再有地域间区隔,因此,外部大数据客户对于大数据平台的需求也是全网的,不再限于单省内的客户群体(见图8–7)。而诸如车联网、5G切片等业务类型,由于其终端用户会在全国范围移动的同时要求使用相同的网络环境、业务体验,这就要求无论从核心节点、分布节点还是边缘节点接入大数据平台,都能有权限访问全网业务及客户数据。
因此,5G时代,企业大数据平台向外部大数据客户提供“一点接入、全网服务”的能力显得尤其重要。大数据平台通过连通核心主控节点、核心分布节点和边缘分布节点,将为所有在各层节点接入的外部大数据客户提供统一、无差别的大数据访问环境。
5G时代大数据的数据源
随着中国5G通信网络的建设步伐加快,国家大数据战略逐步推进,大数据产业发展必将提速。是否拥有数据源,以及大数据保有量、数据应用水平,将成为决定大数据企业增强市场竞争力的关键。5G时代,eMBB、uRLLC、mMTC三大技术的引入,以及5G通信网络在社会各行业的广泛应用,将进一步拓展大数据的数据源。
5G网络商用部署及万物智联加速发展,将催生大数据在各领域应用的需求快速增长。5G时代的典型应用包括超高清视频、VR直播、V2X、工业物联网、无人驾驶、智慧城市、智能楼宇、智能穿戴等,因此5G时代的大数据将是对现有互联网大数据的进一步丰富,同时完善了各个垂直行业的数据。
图8–7 5G时代大数据平台架构
5G时代的大数据将主要来源于以下几方面,分别是以阿里巴巴、京东为代表的电商大数据,以腾讯、美团、滴滴为代表的社交及生活大数据,以百度、今日头条为代表的互联网信息聚合大数据,以及各个垂直行业包括金融、通信、电力、交通、医疗、政府、农业等的行业大数据。
电商大数据:在5G时代,电商业务将进一步下沉到三、四线城市,这些地区的用户群体更加庞大,电子商务系统必须能够处理海量的电商销售数据。为了更好地匹配用户个性化需求,实现精准销售,需要借助大数据技术在海量数据中提取精准信息。营销推荐是电子商务交易类互联网应用中典型的大数据应用实例,其目标是使用企业收集的用户购物数据,挖掘用户行为特征,找到用户的个性化需求,预测用户可能喜欢的商品,再将预测结果数据推送给用户,从而刺激用户产生新的购买行为。
社交及生活大数据:以社交网站、微博、微信、共享自行车、生活服务类应用(美团、58同城、携程、高德地图等)为用户提供便利的平台,每天都在产生大量的用户社交和生活大数据。借助5G便利的通信网络,与用户相关的其他信息(如地理位置、交通行为、医疗信息、与智能家居交互的信息)也同时被收集、整合,成为用户社交及生活大数据的一部分。通过对这类大数据进行深入分析,各行业可以了解用户的思维、生活习惯及其对社会的认知,这些数据能够进一步及时反映经济社会动态与情绪,预警重大、突发和敏感事件,协助提高社会公共服务的应对能力,对维护国家安全和社会稳定具有重大意义。
互联网信息聚合大数据:搜索引擎是最主要的互联网信息获取和聚合类应用,搜索引擎天生就是一个大数据系统,互联网产生了海量数据,如何从中精确找到需要的信息是互联网大数据应用的重要方向。借助5G高速通信网络,搜索引擎索引的网页数量将大幅增加,利用大数据技术对网民搜索内容、习惯、爱好、行为、关键词等进行深入分析,可为社会热点事件(如流行疾病暴发、群体异常行为等)跟踪、社会舆情感知、公共政策制定等提供依据。
金融大数据:5G时代的网络延迟将缩短至毫秒级,加之边缘计算的应用,现有金融服务流程间的网络卡顿将不会再被用户感知,移动端金融服务的速度和质量都将超乎用户想象。因此可以采集的金融大数据将更为全面,金融大数据强调运用大数据资产和大数据思维经营金融业务,基于数据进行投资决策。在金融市场交易中,每个交易者都希望在市场上找到能让他们低买高卖的模式,大的金融机构更是花费重金,使用大数据技术针对海量金融交易数据做深度的分析挖掘,打造自己的量化交易系统,以期能在变幻莫测的市场风云中更早一步识别潜在的风险和机会。
通信大数据:电信运营商为了提供更好的网络通信质量和更灵活的计费方式而建设了一系列的信息技术系统,比如网络管理系统、深度报文检测(DPI)系统、信令分析系统、计费系统、客户关系管理系统等。这些系统原本设计的目的是用于内部的管理,但是其长期累积下来的海量数据被发现可以用于其他业务方向,例如可用于增强电信运营商本身的商业模式,或者让其他行业或企业的商业模式更具竞争力。5G时代的通信大数据无论是在质还是量上都将进一步得到完善,此外电信运营商在提供固话、移动通信、宽带等基础电信服务的基础上,也提供一系列增值业务,如音乐、图书、下载、动漫、支付等,这些互联网和移动互联网的应用在为用户提供服务的同时也积累了大量的数据。
电力大数据:电力大数据是大数据理念、技术和方法在电力行业的实践,是大数据应用的重点领域之一,其涵盖了从数据采集、存储、处理、分析到提供预测、评估等数据价值挖掘服务的全过程。智能电网的理念,是通过获取更多有关我们如何用电、怎样用电的信息,优化电的生产、分配以及消耗。5G智能电网成为5G网络与电力行业相融合的典型案例之一,采用5G网络切片技术为电网业务提供高质量可保障的网络通信服务,能有效支撑电力行业智能化、能源互联网的业务发展。
交通大数据:目前,大数据技术在交通运行管理优化、面向车辆和出行者的智能化服务、交通应急和安全保障等方面都有着重大发展,未来基于大数据技术的智慧交通建设将会成为中国交通的发展方向。自动驾驶作为C–V2X(车与万物互联)技术应用范畴中的重要一环,高度依赖5G网络的高带宽和低延迟的特性。车辆在自动行驶的过程中会通过大量的摄像头和传感器收集到海量的数据,同时需要与交通设施和其他交通参与者进行交互,而这些数据的通信需要一个足够宽广的通道来运行,这就是5G网络能够辅助自动驾驶的基础。
医疗大数据:随着计算机网络和信息技术的发展以及现代医学技术的不断进步,医学与健康相关数据正在急速增长。5G时代,对于远程监测类、远程会诊和指导类医疗场景,5G网络将为其带来高带宽和高可靠性体验,而对于移动急救和远程操控类医疗场景,5G网络能带来超低时延和超大连接数的通信效果。这些医疗场景都会产生大量的医疗数据,如何高效收集、处理、存储、交换和挖掘海量的医疗与健康相关的大数据,从而为医护人员的及时和正确诊断、个人健康的监测护理与诊疗建议、医疗相关机构的管理与决策提供大数据分析和系统支持,已经成为跨医学和计算机科学领域一个重要的研究和产业发展方向。
政府大数据:政府数据是一笔巨大的财富,也是开启智慧政府的钥匙。智慧政府离不开政府开放数据,而政府开放数据形成的生态圈将有力推动智慧政府又好又快的发展。政府数据总量以及种类庞大繁多,与民众生活密切相关。虽然政府拥有这些高价值数据,但是其数据资产的利用和运营仍处于较为原始的阶段。5G网络带来的高带宽将有利于提升政府大数据的共享程度,能够容纳百倍于目前的数据共享量级,为促进城市、行业与上下级部门之间的数据共享和协同带来质的跨越,而5G环境下的云存储、云计算能力大幅提升,建设云上智慧城市的梦想也变得有路径可循。
农业大数据:农业大数据作为大数据的重要分支,是大数据理论、技术、方法在农业领域中的专业化实践和应用。5G网络的发展将为农民和农业企业提供智慧农业所需要的基础设施,农业大数据应用依托部署在农业生产现场的各种传感节点(收集环境温湿度、土壤水分、二氧化碳、农作物图像等信息)和5G通信网络,完成农业大数据采集、传输、存储、处理等全流程各环节的数据管理,结合大数据分析挖掘技术,最终实现农业生产环境的智能感知、智能预警、智能决策、智能分析和专家在线指导,为农业生产提供精准化种植、可视化管理和智能化决策服务。
5G时代的大数据应用场景
运营商内部大数据应用
随着5G时代的来临,流量资费越来越低,依托于流量数据的内容价值则越来越高。电信运营商需要形成以大数据为中心的运营机制,以支撑新形势下的市场营销工作,把内容推荐给最合适的人群。同时,运营商还要开发各类网络大数据分析应用,提升通信网络的自动化、智能化水平,彰显大数据的价值。
目前运营商内部大数据应用场景主要有以下两类。一是市场类大数据应用场景,包括客户画像分析、客户离网分析、业务价值分析、营销渠道分析、流量发展分析、业务标签分析、业务推荐分析、营销方案分析、资费管理分析等。二是网络类大数据应用场景,包括移动互联网质量分析、高流量用户迁移、语音质量分析、网络健康度分析、网络流量自动调优、客户感知溯源分析、网络性能监控、基站规划选址支撑、终端投放支撑等。
赋能外部大数据行业应用
5G时代,大数据作为一种赋能性技术,将如同人类社会的基础资源水和电一样,作用于经济社会的各个层面。围绕大数据产业链,互联网、金融、通信等领域的大数据技术产品发展较快,创新此起彼伏,应用广度不断拓宽,深度不断加强。同时,电力、交通、医疗、政府、农业领域的大数据应用也明显提速。以下简单介绍一些5G时代背景下,大数据赋能通信行业以外行业应用的实践案例。
智能营销推荐:营销推荐作为最常见的大数据应用之一,5G时代必将再次大展身手。它以用户购物行为大数据为基础,通过连接更多数据来源,创建海量用户标签,生成精准的用户画像,为企业开展实时营销、智能营销提供支撑。智能营销推荐常见的使用场景包括根据物品推荐物品,典型的例子是在电商网站上推荐已购买过的商品。为用户推荐物品,最典型的是个性化邮件过滤和基于浏览历史的推荐。为用户推荐用户,像社交网站上的好友推荐和电商网站上的“跟您相似的顾客”等都属于此类。
社会舆情分析:舆情分析是社交网络中典型的大数据应用场景,指对热点事件在网络上的传播过程加以监测,了解人们对舆情的态度,从而在必要的时候加以干预和引导。5G时代,信息发布的门槛更低,信息传播速度更快,各种真实和不真实的信息在社交网络上随时都可能得到爆炸式的传播。利用大数据技术收集和分析社交网络上传播的数据内容,分析其背后隐含的意义,能够对特定的事件进行预测。
互联网信息搜索:为了进一步提高搜索效果,搜索引擎越来越多地引入大数据处理技术,为搜索系统提供更高的计算能力。抓取并索引的网页数量就是衡量搜索引擎质量的重要因素之一,如今,百度、必应、谷歌等主流的搜索引擎都要抓取数以千亿计的网页,同时索引数百亿的网页,以提供良好的搜索服务。借助5G高速、高带宽通信网络,搜索引擎公司就能高效处理如此巨量的数据以及计算网页的各项特征,为索引数十亿计的网页打下基础。
个人征信评估:征信行业的产品除了信用服务咨询外,主要组成部分是信用报告,所以个人信用信息数据的获得与分析处理对征信行业来说至关重要。5G凭借高速通信网络和大数据技术,可以将用户的信用交易记录同步转化为信用记录,一方面实现了个人信用信息快速收集及查询与存储的自动化、智能化,另一方面大大节约了数据传递和整合的时间,降低了数据处理的成本。
智能投资顾问:一直以来人们都希望在纷繁复杂的金融市场上找到规律,数以亿计的股民是二级市场的终端消费者,他们的市场判断与投资情绪对整个股市产生着不可忽视的影响。然而在人们的情绪信息不可见也无法收集的时代,人们无法通过这种路径对股市进行判断。直到社交网络的兴起,自媒体成为人们表达个人观点的重要平台。5G时代,海量的社交网络信息可以很方便地收集和加工,并以可理解的数据形式储存,为个人或投资机构利用金融大数据开展情感分析,进而为预测金融市场走向提供了可能。
交通事件预警:近年来,随着经济的快速发展,机动车持有量迅速增加,交通管理现状和需求的矛盾进一步加剧。借助5G通信网络高带宽特性,交通大数据处理系统对所拍摄的图像进行分析提取号牌号码、号牌颜色、车身颜色、车标、车辆品牌等数据,并将获取到的车辆信息连同车辆的通过时间、地点、行驶方向等信息进行数据存储、查询、比对等处理,当发现肇事逃逸、违规或可疑车辆时,系统会自动向拦截系统及相关人员发出告警信号,为交通违章查纠、交通事故逃逸、盗抢机动车辆等案件的及时侦破提供重要的信息和证据。
电力负荷预测:近年来,国内电网负荷峰谷差不断增大,为满足尖峰负荷需要,发电侧、电网侧都投入了大量资金,这就造成社会资源浪费。电力负荷预测是电力调度、用电、规划等部门的重要工作之一,实质是对电力市场需求的预测,提高负荷预测技术水平,有利于电力调度管理,合理安排电网规划建设,能进一步提高电力系统的经济效益和社会效益。利用5G通信网络高带宽、低延时、大连接特性,通过推广应用智能电表及建设用电信息采集系统,可以有效采集海量的用户负荷曲线数据,为电力负荷预测分析奠定扎实基础。
流行疾病预测:谷歌2009年对甲型H1N1流感暴发的预测比美国疾病控制与预防中心(CDC)提早1~2周,当时震惊整个医学界和信息技术领域科学家,研究报告发表在《自然》杂志上。国内百度公司2014年7月上线了“百度疾病预测”,其借助最新大数据技术,为用户呈现身边的疾病信息,通过这些信息不仅可以了解当前流行病态势,而且可以看到疾病未来7天的变化趋势,提前做好预防措施。5G时代,通过互联网收集到的更多的流行疾病数据,有助于构建更科学、全面的流感预测模型,为流行疾病预测和防治起到积极的作用。
企业经营行为监测:5G通信网络的加速建设,有助于提升政府治理水平。政府掌握着全社会最大量、最核心的数据,依托5G高速通信网络和其拥有的大数据资源,可以将市场主体精确定位到电子地图的监管网格上,并集成企业的基本信息、监管信息和信用信息,对内提供企业经营行为监测服务,对外提供数据查询、分发和分析服务。基于工商大数据,政府可以为中小型企业提供产业动态、供需情报、行业龙头、投资情报、专利情报、海关情报、招投标情报、行业数据等基础情报信息,为中小企业全面提升竞争力提供数据信息支持。
农业精准种植:5G通信网络的广泛应用,结合物联网技术,将为农民和农业企业提供智慧农业所需要的基础设施,其对农业大数据的挖掘和应用,有助于增强农业活动跟踪、监测、自动化和分析能力。在农业大数据应用方面,通过在田间对土壤进行采样,使用配置的GPS接收机把样品采集点的位置精确地测定出来并输入计算机,计算机依据地理信息系统将采样点标定,并绘出一幅土壤样品点位分布图,由分布图来自动控制田间各点的施肥种类和施肥量,这能够为合理施肥和田间管理提供科学依据。
5G时代的大数据安全管理与隐私保护
5G通信网络的安全隔离特性能够进一步强化大数据安全管理能力,基于5G切片业务可以构建从无线网到传输网、核心网逻辑层面相互隔离的子网,为不同的大数据应用采集、传输和使用数据提供安全保障,避免数据泄露。但在同时,5G时代的大数据在安全管理与隐私保护方面也面临着新的挑战。
5G时代,有关用户生活行为的大数据更为全面、多样和容易获得,这些数据在存储、处理和传输等过程中面临更多安全风险,因此,大数据具有安全管理与隐私保护的需求。而实现大数据安全管理与隐私保护,较以往其他数据安全问题更为棘手,因为大数据运营商往往既是数据的生产者,又是数据的存储者、管理者和使用者,单纯通过技术手段限制商家对用户信息的使用,以实现用户数据安全管理和隐私保护是极其困难的。
5G时代的大数据来源更加广泛,其中汇集了各种来源、各种类型的数据,包含了很多和用户隐私相关的信息。大量事实表明,大数据如未能妥善处理将会对用户的隐私造成极大的侵害。很多时候人们有意识地将自己的行为隐藏起来,试图达到隐私保护的目的,但是,在大数据环境下,当大数据企业通过用户零散数据之间的关联属性,将某个人的很多行为数据聚集在一起时,用户的隐私就很可能会暴露,因为有关他的信息已经足够多,这种隐性的数据暴露往往是个人无法预知和控制的。
在5G时代大数据背景下,人们面临的威胁并不仅限于个人隐私泄露,还在于基于大数据对人们状态和行为的预测。例如零售商可以通过历史记录分析,得到顾客在衣食住行等方面的爱好、倾向等;社交网络分析研究也表明,可以通过其中的群组特性发现用户的属性,例如通过分析用户的微博信息,可以发现用户的政治倾向、消费习惯和其他爱好等。
5G时代,如果想更好地使用大数据,发挥大数据价值,就必须解决好用户数据安全管理和隐私保护的需求。如果仅仅因担心数据安全和隐私问题而不公开数据,那么大数据的价值将无法体现,因此,对于5G时代的大数据,数据安全管理和隐私要求主要体现在,对用户数据做好安全防护的基础上,在不暴露用户敏感信息的前提下进行有效的数据挖掘,这有别于传统的信息安全领域更加关注文件的私密性等的安全属性。
根据需要保护的内容不同,隐私保护又可以细分为位置隐私保护、标识符匿名保护和连接关系匿名保护等。但大数据时代快速变化的数据给隐私保护带来了新的挑战,因为现有隐私保护技术主要基于静态数据集,我们必须考虑如何在这种复杂环境下实现对动态数据的利用和隐私保护。
为了应对大数据背景下给个人信息保护工作带来的巨大挑战,当前世界各国正试图通过修订或增加法律法规,扩大关于个人信息的保护范围,以及强化保护力度。欧盟于2016年出台了GDPR(《一般数据保护条例》),增加了数据主体的被遗忘权和删除权,引入强制数据泄露通告、专设数据保护官员等条款,同时其中包含了更严厉的违规处罚。非欧盟成员国的公司(包括免费服务)只要满足下列两个条件之一,就受到GDPR的管辖:一是为了向欧盟境内可识别的自然人提供商品和服务而收集、处理他们的信息,二是为了监控欧盟境内可识别的自然人的活动而收集、处理他们的信息。这些条例将对中国企业的移动应用安全以及数据收集、处理和交易产生重大影响。
中国个人信息保护以分散立法为主,尚未制定专门统一的个人信息保护法。个人信息保护立法体系由法律、行政法规、部门规章、地方性法规和规章、各类规范性文件等共同组成,这就形成了多层次、多领域、内容分散、体系庞杂的个人信息保护法律体系。中国个人信息保护法律体系框架基本形成,已经初步建立起了以《网络安全法》《关于加强网络信息保护的决定》为核心,包括《刑法》《征信业管理条例》《电信和互联网用户个人信息保护规定》等法律、行政法规和部门规章在内的个人信息保护立法体系。
5G+Edge Computing
边缘计算基本概念
边缘计算的发展历史
边缘计算指在靠近数据源或用户的地方提供计算、存储等基础设施,并为边缘应用提供云服务和信息技术环境服务,意在用户近端实现更安全、实时的智能化业务。相比集中部署的云计算服务,边缘计算解决了时延过长、汇聚流量过大等问题,为实时性和带宽密集型业务提供更好的支持。
边缘计算的起源可以追溯到20世纪90年代,阿卡迈率先推出了CDN,该网络在接近终端用户的地方设立了传输节点。这些节点能够存储缓存的静态内容,比如图像和视频等。到了2003年,阿卡迈又与IBM合作“边缘计算”。当时阿卡迈承担了全球15%~30%的网络流量,通过CDN的形式包装成“分布式计算”或“边缘计算”的概念为客户提供以内容分发为中心的云服务。
近些年来,围绕边缘计算展开的标准化项目和产业联盟快速发展。国际上,欧洲电信标准协会自2014年开始研究移动边缘计算,迄今为止,该协会共发布10多本白皮书。2017年,欧洲电信标准协会将“移动边缘计算”更名为“多接入边缘计算”,将应用范围扩大至包含固网接入的各类网络场景。
在国内,边缘计算产业联盟于2016年11月成立,该联盟先后发布了《边缘计算参考架构2.0》《边缘计算产业联盟》等白皮书,进而发布了一系列应用边缘计算技术的测试床,推动了国内边缘计算产业的发展。2018年4月,SDN/NFV产业联盟成立“MEC应用推进工作组”,并由中国移动担任组长。该组织将推动NFV、SDN、边缘云、云管理编排等多个领域的联动发展,促进相关技术成熟,培育商业案例落地,进一步做强边缘计算产业。
边缘计算技术的发展现状
迄今为止,边缘计算已经形成了一个OICT(运行与网络信息技术)产业融合的泛生态环境。在运营技术(OT)、信息技术与通信技术融合发展的大背景下,计算、存储、连接资源需要有机地结合在一起,为各行业应用提供端到端的网络和业务承载能力。
在运营技术领域,工业界各大公司对于现场数据采集、业务流程处理有着深厚的积累。运营技术领域对边缘计算的研究一般是从现场业务实时性和智能化的需求出发,自下而上地向万物互联和泛在智能的工业互联网演进。这其中较为典型的先驱者是通用电气的Predix边缘系统和西门子的Simatic IOT2000。
Predix发展至今已经远远不只是一个工业互联网平台,它包括了边缘、平台和应用三个主体,其中Predix边缘系统为边缘设备提供了一个网关框架Predix Machine。基于该框架,合作伙伴可以开发各类现场接入协议,实现边缘设备的连接和数据的采集。与通用电气不同,西门子依托自己强大的硬件设计能力打造了一款边缘计算智能网关Simatic IOT2000。该智能网关可以实现对异构传感器系统的数据采集,并在本地将数据进行预处理并按需转发给云平台。不难看出,运营技术领域涉足边缘计算的研究主要着力于对现场级设备具体业务能力的深耕。
在信息技术领域,边缘计算将原有的云计算模型的部分或全部计算任务迁移到网络边缘设备上,这样可以降低云计算中心的计算负载,减小网络带宽的压力,提高万物互联时代数据的处理效率。随着工业互联网的持续发展,各大互联网云计算巨头纷纷意识到边缘计算在提高用户实时性体验、提供差异性服务等多个方面具备的先天优势,并发布了一系列边缘计算解决方案。其中较为典型的是亚马逊发布的GreenGrass服务以及微软发布的Azure IoT Edge套件。
2016年AWS推出GreenGrass边缘计算套件,它能够以安全方式在互联设备上运行本地计算、消息收发、数据缓存、同步和ML Inference(机器学习推理)功能的软件。类似AWS Greegrass,微软在边缘计算领域的解决方案是基于Azure云服务的物联网网关SDK,它提供了一个可以配置边缘设备并进行业务部署的软件框架。通过亚马逊和微软在边缘计算领域的实践,我们可以看出互联网公司在该领域的探索主要依托云计算能力向工业现场设备的扩展和渗透。
运营技术领域的玩法是立足优势的现场设备向上生长出平台级边缘计算能力,信息技术领域的玩法是立足优势的云计算能力向下生长出现场级边缘计算能力,而通信技术领域应当如何参与这场盛宴呢?运营商的优势不在于现场级,而在于位置稍高一点儿的网络边缘。以中国为例,中国铁塔具备约200万的基站基础设施,三大运营商具备数以万计的区县级汇聚机房和数以千计的地市级核心机房,并且运营商拥有服务于广大用户的高质量网络接入。因此,通信技术领域应立足优势的网络接入和边缘机房优势,与信息技术和运营技术领域协同合作,壮大边缘计算的应用场景和解决方案,走出一条具备OICT特色的边缘计算发展道路。
边缘计算技术体系架构
边缘计算技术体系涉及多个专业领域,具体来看可以分为行业应用SaaS、PaaS能力、IaaS设施、硬件设备、机房和承载等几个重要领域(见图8–8)。
图8–8 边缘计算技术体系架构
边缘计算SaaS层包含了各垂直行业通过网络部署在靠近用户侧的边缘计算平台上的应用。PaaS、IaaS和硬件平台是边缘计算技术体系中的关键赋能模块。在PaaS方面,运营商利用自身网络资源的独特优势,可以通过基础PaaS平台为上层应用提供各类特色网络能力。第三方PaaS平台也同样重要,因为往往在一些特定的垂直行业中,第三方的合作伙伴对行业逻辑有着更加深刻的理解,它们可以快速地在边缘计算生态中提供解决行业痛点问题的PaaS能力。在IaaS方面,基于运营商在NFV领域的探索,边缘计算需要考虑基础设施层面与云化网络的共享和融合,同时也要兼顾独立部署的能力。在硬件方面,考虑到边缘计算节点机房的条件,运营商需要对服务器外观和功率进行重新设计与定制。对于不同的垂直行业应用场景,还要考虑一体化集成交付能力以及各类现场智能化接入设备的丰富生态。
5G与边缘计算的化学作用
边缘计算概念的提出和实践是早于5G网络架构的设计与标准化完成的,虽然受到各领域的认可和重视,但是其并没有很好地得到大规模的应用和部署,也没有杀手级的应用场景出现,大多数边缘计算的实践仍是小范围、小规模或短时间的试验和应用。伴随着5G架构的提出,边缘计算再一次受到各领域的关注,并被认为是5G时代网络发展的重要方向之一。这一切正是得益于5G网络的本地分流能力。5G核心网架构设计中提出的数据面网元UPF,将本地流量卸载纳入了5G标准流程,使得边缘计算的引入从前5G阶段的局部改造变为“5G+”阶段的原生支持。可以说,低时延、大带宽、大连接的5G特征赋予边缘计算更为强健的能力,这些特征将边缘计算由“不可能”变为“可能”,由“局部实现”变为“全网推广”。
全新的边缘业务形态在带给用户更好的体验的同时,也对网络的带宽、时延及安全性等方面提出了更高的要求。4K/8K视频、VR/AR等生活娱乐为用户提供了身临其境的极致体验,以及丰富的人机交互体验模式,这些需要网络能够提供更大的带宽以及更低的时延;以车联网和智慧城市为代表的典型应用场景与移动通信网络深度融合,海量终端设备接入5G网络,同时还需要网络保障数据传输的可靠性;以现场级边缘计算为核心的工业互联网带来了现代工业的革新,这使得工业通过5G网络实现实时自动化管理,在实现低时延的工业协同控制和运动控制的同时还要保障数据的安全性。
图8–9 边缘计算的几大场景
低时延
用户访问时延主要由传输时延和处理时延两部分组成。在处理时延方面,硬件成本的下降、尺寸的缩小及性能的提升,使得数据分析处理能力可以下沉到网络边缘,计算能力边缘化可以减轻中心数据处理的负载,并且分散到边缘的数据量相对中心集中处理来说也是显著减少的,在考虑边缘服务器能力有限的前提下,边缘的处理效率仍与中心处理不相上下。在传输时延方面,将计算能力下沉到网络边缘即更靠近用户的位置,一方面可以缩短终端到服务器端的传输距离,对移动通信网络来说,5G网络之前,移动终端都需通过部署在省核心机房的网关后连接互联网,对视频业务占据了绝大部分的移动流量来说,当全部终端都集中到省核心机房的位置时,大流量、多并发会给核心机房造成沉重负担,且传输时延及带宽问题也给用户体验带来不良影响。结合5G的本地分流能力,边缘计算应用可按需灵活部署,最低可部署基站的位置,提供毫秒级的用户体验。另一方面,计算能力下沉在拉近终端与服务器的距离的同时,也减少了数据在传输过程中中转的次数,这样还可以降低长距离传输中链路不稳定对时延造成的影响。
大带宽、大连接
5G时代,以8K视频、VR/AR为代表的视频业务将对网络带宽产生每秒数百吉比特的超高需求,同时5G还要支持每平方公里100万的超高连接数密度。大连接和大带宽均会对回传网络造成巨大的传输压力,单方面扩容汇聚与城域网络的解决方案将大幅提高单位媒体流的传输成本,无法实现投资收益。引入边缘计算,可以根据业务指标需求,将边缘计算平台灵活部署在网络各个层级,进而可以实现流量的本地卸载、用户的本地疏导。将部分流量和用户在本地分流,可以在保障正常服务的同时,将云端集中处理的模式变为边缘分布处理的模式,这将有效减轻上层的压力。因此,边缘计算的引入可以支撑5G网络下的大带宽、大连接等新型业务的开展。
安全性
在5G的某些应用场景中,数据的安全性是首要考虑的因素,比如在物联网和工业互联网场景中,终端采集的数据都具有一定的隐私性,这就对网络的安全性保障提出了更高的要求。一方面,边缘计算为这些终端提供边缘的连接和保护。另一方面,可以直接在边缘完成数据清洗的工作,提取高危特征,并反馈到网络中,实现有效的安防保障。若采用传统的云端集中处理模式,海量的数据处理会给服务器造成很大的负担,因此数据的边缘清洗可以显著提高系统工作效率。
“5G+边缘计算”的关键技术组合将打造“连接+计算”的新型基础设施平面,网络能力与计算能力的融合可以更好地对各类创新业务提供支持,促进5G网络与各领域新技术的融合发展,发挥5G网络的巨大潜力。对较为成熟的业务应用如CDN、视频监控、人脸识别等来说,“5G+边缘计算”可以大幅提升用户的体验;对新型业务应用例如8K/VR/AR视频、车联网、智慧工厂等来说,“5G+边缘计算”将实现业务由“不可能”走向“可能”的跨代式发展。“5G+边缘计算”使得人与物、物与物的全面连接成为可能,在车联网、智慧工业、新媒体娱乐等行业应用全面引入5G提供的基础信息服务,颠覆传统产业,重构业态,促进社会经济的可持续发展。
构建电信级边缘基础设施服务,打造MECaaS能力
随着边缘计算应用场景在5G引入后逐渐丰富和成熟,边缘计算将广泛分布在网络边缘的多个位置层级,因此其必须结合边缘计算的特点,前瞻性地在网络边缘提前规划承载边缘计算业务的基础设施,使其能够满足现阶段以及未来相当长时间内边缘计算的需求。运营商应通过打造“连接+计算”融合基础设施,提供电信级、可定制化的边缘云服务。
在之前边缘计算技术体系架构的阐述中,我们说到边缘计算也存在SaaS、PaaS和IaaS三种服务模式,PaaS、IaaS是边缘计算技术体系中的关键平台级基础设施,也是运营商拓展边缘计算的核心抓手。
边缘计算IaaS
边缘计算的业务需要部署在靠近用户和终端设备的网络边缘,部署形式可以根据商务模式、资源条件、业务需要、运维需求等因素,采用软硬一体的物理形态或承载在云资源池之上的云化形态。采用云化形态在部署、运维、计费方面更加灵活,其将是边缘计算IaaS的优选解决方案,该形态下边缘业务提供者可按需使用运营商提供的资源,避免重资产、重运维。边缘计算IaaS服务于云化形态的边缘应用,是用来部署和运行边缘计算业务和相关网元功能的云化基础设施,是云计算技术与边缘计算场景的结合。
边缘计算需要部署的业务或应用类型主要包括MEC App、MECPaaS平台等,此外边缘计算还涉及网关类设备(如5G UPF)、无线设备(如5G CU)、CDN设备等电信网元,边缘计算IaaS要能够为上述业务和应用提供云化基础设施,满足不同业务和应用的需求。
边缘计算IaaS架构设计需要考虑如下几方面的核心理念。
管理方面,要兼顾统一运维、统一管理和轻量化、自治的要求
边缘计算的IaaS平台在地理上广泛分散,但在管理上应考虑将这些平台相对集中起来,以便降低运维管理成本和难度。运维方面,采用边缘计算IaaS云管理平台作为统一运维入口(省级或地市级),对辖区内所有边缘节点的IaaS进行运维管理,实现无人值守边缘节点的远程运维,并对NFVO(网络功能虚拟化编排器)等管理编排组件收敛北向接口以节省网络开销。管理方面,管理编排器(如NFVO)应具备边缘计算IaaS资源的统一视图,以便对资源进行一致性的管理,并对边缘计算PaaS平台或业务申请IaaS资源进行授权。同时,区县以及接入等位置的边缘节点资源受限,可采用融合节点、压缩管理组件资源占用等将管理开销轻量化的方式,使得业务可用资源最大化。另外,边缘节点存在地市、区县、接入等多个位置,但每个位置的边缘计算IaaS都是可自治的云,不依赖其他边缘计算相关资源。IaaS应在考虑自治需求的前提下尽可能地减少占用资源。
平台特征方面,考虑充分异构和灵活性
边缘计算的IaaS平台需要承载多种多样的业务,因此在平台特征上要充分考虑能力的异构,比如,边缘计算应用和相关电信网元可能采用了不同的设计与承载方式,从云的角度需要支持虚拟机和容器两种资源,因此边缘计算IaaS需要支持OpenStack云和Kubernetes。又如,UPF等用户面网元以及计算密度较高的边缘计算应用等对CPU(中央处理器)的压力较大,需要支持将加速功能卸载到硬件实现。另外,考虑到边缘计算业务对网络灵活性的要求,区县以及接入等位置的边缘节点内组网需要扁平化设计且需支持SDN,以及基于SDN的切片能力。