AI芯片分为云端和边缘端，云端芯片要求高性能，边缘端芯片由于应用场景众多，对于环境和能耗等也有更多要求。事实上，当前边缘AI芯片已不再是个小众领域，包括谷歌、英伟达、英特尔、高通、华为、寒武纪、地平线均于近两年推出边缘AI芯片，AI芯片的战火已经由云端蔓延到了边缘。
根据全球技术市场咨询公司 ABI Research 的数据显示：预计到2025年，边缘 AI 芯片组市场的收入将达到122亿美元，云AI芯片组市场的收入将达到119亿美元。边缘 AI 芯片组市场将超过云AI芯片组市场。首席分析师Lian Jye Su 表示：随着行业的发展，企业越来越多的需要解决有关数据隐私、电源效率、低延迟和强大的设备上计算性能等问题，边缘AI将是解决方案。预期在未来五年，AI训练与推论会在网关或是各种边缘装置进行，甚至往下到传感器节点。那么，边缘AI到底是什么，靠什么能解决这些行业痛点呢？
一、边缘计算与边缘AI
近年来，物联网设备连接数呈现出线性增长趋势。据Gartner预测，到2020年，全球物联网设备的数量将超过200亿台。与此同时，设备本身也变得越来越智能化。人工智能与物联网在实际应用中的落地与融合，将推动人类社会进入“万物智能互联”时代，而随之产生的数据也将呈井喷式爆发。
在过去的十年里，云计算成功地缓解了日益增长的数据所带来的存储、管理等问题，但是目前网络带宽的增长速度远远赶不上数据的增长速度，网络带宽成本的下降速度要比CPU、内存这些硬件资源成本的下降速度慢很多，同时复杂的网络环境让网络延迟很难有突破性提升。所以，传统的云计算不能满足对响应时间和安全性的高要求。以无人驾驶汽车为例，高速行驶的汽车需要在毫秒级的时间内响应，一旦由于数据传输、网络等问题导致系统响应时间增加，将会造成严重的后果。
除此之外，云计算还面临带宽不足的问题。如果将边缘设备产生的大量数据全部传输至云计算中心，会给网络带宽造成极大的压力。例如，飞机波音787每秒产生的数据超过5GB，但飞机与卫星之间的带宽不足以支持数据的实时传输。总之，单纯依靠云计算这种集中式的计算处理方式，不足以支持以物联网感知为背景的应用程序运行和海量数据处理。在这种应用背景下，边缘计算应运而生。它与现有的云计算集中式处理模型相结合，能有效解决云中心和网络边缘的大数据处理问题。
边缘计算是云计算的一种补充和优化。如果说云计算是集中式、在“云端”进行的大数据处理，那么，边缘计算则可以理解为边缘侧、靠近终端（例如手机、智能语音交互设备等）的大数据处理。在很多情况下，边缘计算和云计算是共生关系。有个形象的解释，把云计算和边缘计算比喻成章鱼的各器官，似乎更容易理解。作为自然界中智商最高的无脊椎动物，章鱼拥有“概念思维”能力，与两个强大的记忆系统分不开。一个是大脑记忆系统，大脑具有5亿个神经元，另一个是八个爪子上的吸盘。也就是说，章鱼的八条腿可以思考并解决问题。云计算就好比章鱼的大脑，边缘计算就类似于八爪鱼的那些小爪子，一个爪子就是一个小型的机房，靠近具体的实物。边缘计算更靠近设备端，更靠近用户。
具体而言，边缘计算有几个明显的优点：
带宽：边缘设备处理了部分产生的临时数据，不再需要将全部数据上传至云端，只需要传输有价值的数据，这极大地减轻了网络带宽的压力，且减少了对计算存储资源的需求；
延迟：在靠近数据源端进行数据处理，能够大大地减少系统时延，提高服务的响应时间；
经济性：某个应用如果使用云端，即使能从技术上解决带宽和延迟问题，但在边缘执行计算可能更划算；
可靠性：某个应用如果使用云端，即使能从技术上解决带宽和延迟问题，但到云端的网络连接并非一直可靠，而应用可能需要一直运作。在这种情况下，就要使用边缘计算了。例如人脸辨识门锁，如果网络连接断开，你希望门锁仍然正常工作；
隐私：某个应用如果使用云端，即使能从技术上解决带宽、延迟、可靠性和经济性等问题，可能仍有许多应用出于隐私考虑而需要进行本地处理。边缘计算为关键性隐私数据的存储与使用提供了基础设施，提升数据的安全性。
边缘计算因为其突出的优点，满足未来万物联网的需求，从2016年开始迅速升温，引起全球的密切关注。当然，边缘计算是一个持续迭代更新的概念，不同技术的融合，使得边缘计算的内核不断创新，例如人工智能和神经网络的应用，也正在赋能“边缘AI”的落地。得益于云端服务器广泛的数据计算能力，人工智能和机器学习领域取得了巨大进步，发展出更加综合性的人工神经网络，以解决富于挑战性的任务。随着机器学习、神经网络训练等网络架构和工具不断适配、兼容到嵌入式系统上，越来越多的AI应用也可以直接在边缘设备运行，于是“边缘AI”成为了当下讨论的热点。
边缘AI是指在硬件设备上本地处理的AI算法，可以在没有网络连接的情况下处理数据。这意味着可以在无需流式传输或在云端数据存储的情况下进行数据创建等操作。为了实现这些目标，边缘计算可以在云上靠深度学习生成数据，而在数据原点——即设备本身（边缘）执行模型的推断和预测。
目前，国际上尚未建立边缘人工智能的标准架构和统一算法，但各大厂商已经开始在相关领域进行探索。谷歌、亚马逊和微软等传统云服务提供商推出了边缘人工智能服务平台，通过在终端设备本地运行预先训练好的模型进行机器学习推断，将智能服务推向边缘。此外，市场上已经出现多种边缘人工智能芯片，如文章开篇提到的地平线旭日3、谷歌edge TPU、英特尔Nervana NNP、华为Ascend 910和Ascend 310等。
二、边缘计算与5G
边缘计算与5G可以说是互为犄角的关系。
国际标准化组织3GPP定义了5G的三大场景。其中，eMBB指3D/超高清视频等大流量移动宽带业务，mMTC指大规模物联网业务，URLLC指如无人驾驶、工业自动化等需要低时延、高可靠连接的业务。5G通信网络更加去中心化，需要在网络边缘部署小规模或者便携式数据中心，进行终端请求的本地化处理，以满足URLLC和mMTC的超低延时需求，因此边缘计是5G核心技术之一。
边缘计算恰好可以解决5G三大场景面临的问题。首先，边缘计算设备将为新的和现有的边缘设备提供连接和保护；其次，尽管5G将为基于云的应用程序提供更好的连接性和更低的延迟，但仍然存在处理和存储数据的成本。混合边缘计算/5G解决方案将降低这些成本；最后，边缘计算可以让更多应用程序在边缘运行，减短了由数据传输速度和带宽限制所带来的延时，并可对本地数据做初步分析，为云分担一部分工作。
另一方面，5G与边缘计算一定程度上是相辅相成的。一方面，得益于5G自身发展，将对边缘计算的发展起到直接促进作用；另一方面，由于5G对物联网有促进作用，也将间接促进边缘计算发展。
三、边缘AI的使用场景
边缘AI因其流量占有少、时延低、隐私性强等特征，在各行各业具有广泛的应用前景。
智能手机
这或许是我们最熟悉的边缘AI设备。Siri和谷歌助手是智能手机上边缘AI的最好例证，因为该技术驱动了它们的语音UI。手机上的AI使得数据处理发生在设备（边缘）侧，这意味着不需要将设备数据交付到云端。这有助于保护隐私和减少流量。
智慧家居
随着物联网的普及，家庭生活将引入越来越多的智能应用，如智能照明控制、智能电视、智能空调等，这些应用需要在家庭部署大量的传感器和控制器。为了保护家庭数据隐私，数据处理必须依赖边缘计算，使大部分计算资源被限制在家庭内部网关，敏感的数据被禁止外流。通过边缘人工智能优化室内定位和家庭入侵检测，从而获得比云计算更高的准确性和更低延迟。例如Amazon Echo、谷歌Home等智能音箱被广泛应用，它们接收用户指令，并通过与第三方（服务或家用电器）的交互做出响应。然而智能音箱依赖云端进行语音识别、语言语义的理解和处理，会造成家庭数据隐私泄露，而应用边缘人工智能则能够有效解决这些问题。家庭娱乐也将从边缘人工智能受益，无需将用户偏好上传到云端，系统可自行推荐个性化服务，让用户拥有更好的娱乐体验。
无人机
无人机可以飞到人迹罕至的危险区域进行探险，并以特有方式拍摄鸟瞰图像。无人机的应用正在扩大，其中一方面包括农业中的应用，而另一方面是在采矿业中应用。然而，这些设备必须能够“电告总部（phone home）”才能响应它们所收集的数据。边缘计算使无人机能够检查数据并实时响应数据。例如，百度智能云与麦飞科技一起将BIE-AI-Board（内置检测模型和作业模型）部署在无人机上，利用高光谱及可见光摄像头采集作物信息数据，将之上传至BIE-AI-Board，由BIE-AI-Board加载检测模型对作物病虫害位置、等级进行判断，并根据检测结果调用作业模型控制植保机执行植保作业，现该方案已在国内多块农田里开始实施。
智慧农业
农业也将同样受益于边缘AI。除了无人机的应用，还有利用基于边缘计算的农业物联网实现精准农业的应用等。例如，一家总部位于澳大利亚的农业技术公司The Yield，它使用传感器、数据和人工智能帮助农民做出有关天气、土壤和植物条件的明智决策。
公共安全
人脸识别系统是监控摄像头的发展方向，它可以通过学习人脸识别人类个体。2019年11月，WDS有限公司发布了AI摄像头模块Eeye，通过边缘AI实时分析面部特征。对于边缘计算的使用，即强化摄像头终端的运算处理能，可让其所搭载的人脸识别功能不再依赖云端服务器，避免耗费时间上传图像，节省了大量带宽资源。而且通过在本地设备上直接完成脸部辨识，进而让识别过程缩短至1.5秒内。
实时视频分析也是边缘AI最重要的应用场景之一。此前，视频分析一般在云端进行，面临着高流量消耗、延迟大等问题。随着边缘计算的发展，可以将部分视频分析工作转移到边缘节点进行。在末端，视频采集设备负责视频采集、压缩和图像/视频预处理。在边缘层，多个分布式边缘节点相互协作。在云端，由于边缘节点的分布式模型训练可能因其本地知识有限而未能经过良好训练，当边缘无法提供服务时，云利用全局知识进行进一步处理，并帮助边缘节点更新训练模型。
Tractica的一份报告估计：到 2025 年，人工智能边缘设备出货量将从2018年的1.614亿台增加到全球每年26亿台。就单位数量而言，顶级的人工智能边缘设备将包括手机、智能扬声器、个人电脑 /平板电脑、头戴式显示器、汽车传感器、无人机、消费者和企业机器人以及安全摄像头。可穿戴式健康传感器、建筑物或设施传感器还将有更多人工智能。
车联网
车联网通过将车辆互联，提高安全性和效率，减少交通事故和避免拥塞。前期，蜂窝网络、边缘计算、AI都曾作为独立的技术为车联网服务。边缘计算能够为车联网提供高速数据传输、低时延等服务，使得自动驾驶成为可能。AI更是被广泛应用于智慧交通的各个领域。两者结合将有利于进一步优化车联网的性能，通过边缘人工智能实现车辆的精准定位、目标跟踪、智能感知和决策。
医疗健康
健康医疗已经进入数据时代。健康意识的普及使得医疗器械和终端越来越多样化，边缘人工智能将在智慧医疗领域有多个应用场景。首先是院前急救，在急诊病人到达医院或者两个医院转移期间，目前的紧急医疗服务大多部署在云端，容易受移动环境和极端天气的影响和限制。边缘人工智能可以在救护车和医院之间建立双向实时通信信道，实现实时自然语言和图像处理，提高及时性和效率。其次是智能可穿戴设备，目前的智能可穿戴设备受计算能力影响，只起到数据采集的作用。边缘人工智能在智能穿戴领域的研究正在进行，例如瓦伦西亚政治大学研究员贾米·安德列斯·林肯在可穿戴设备上部署边缘AI监测人类情绪等。未来，将有更多轻量级智能算法在终端上进行，实时监测、分析和预测健康数据，帮助人类更好地了解自己身体状况。
智慧城市
随着城市规模的不断扩大，数据呈现地理分布的特性，需要边缘人工智能模式提供对时延敏感设备的监控和智能控制。通过边缘计算支撑智慧城市大规模基础设施的计算和服务，可以实现终端设备的低时延应用，将时延要求高的任务部署在边缘节点执行。通过AI来协同和调度城市基础设施，应用到公共安全、健康医疗、城市管理、交通出行、智慧社区和其他领域，实现整个城市的资源最佳利用。
例如，关于交通拥堵问题，新加坡通过联网运输解决方案应对了巨大的交通挑战。其智能交通系统（ITS）已经形成了电子道路收费的先锋系统，随着交通量激增公路收费也随之增加。ITS 还允许通过具有GPS功能的出租车提供实时交通信息，并整合公共交通结构，同时也能够使公交车更加准时。城市卫生条件也可以通过智能技术改善，如使用互联网连接的垃圾桶或物联网支持的车队管理系统进行废物收集和垃圾处理，或者是将传感器技术应用于智能废物容器，（它会自动感知什么时候垃圾到达容器的顶部，从而及时通知城市环卫部门收集垃圾）。
制造业
在工业制造领域，AI和边缘应用有望在智能工厂的发展中发挥越来越重要的作用。在工业4.0模式的推动下，下一代智能工厂将先进的机器人技术、机器学习技术应用于软件服务和工业物联网中，以提高产能和最大化生产效率。边缘计算和人工智能使用本地传感器控制和管理输出，能够显著地提高效率，减少误差。边缘系统可以在毫秒内响应输入，要么进行调整以修复问题，要么关闭生产线以防止出现严重问题。
四、边缘AI所面临的挑战
近两年，边缘智能产业生态逐渐构建，不过在形势大好的背后，边缘智能仍然面临着各种各样的难题。
其一，由于云计算服务的下沉，有些流量直接通过本地边缘智能平台流出。在传统核心网中，计算、控制、安全等均在核心网内部完成，如何对边缘智能平台的流量进行计费和控制，需要进行研究；同时边缘智能在实际的网络架构上有多种不同的部署规划，比如部署在无线接入云、边缘云及汇聚云，而不同的架构所面临的问题也略有不同。
其二，边缘智能所服务的对象以及场景较为多样化，如何使一套边缘智能平台适应多样化的第三方应用，也是目前面临的一个问题。
其三，因为业务的碎片化，边缘智能可能针对单一场景或者两三个场景进行部署，不仅需要在整个部署能力特性上进行明确定义，且需要考虑如何进行敏捷智能化的运维。
其四，如何更好地引入人工智能，发挥边缘计算的整体优势有待研究。
其五，协调如何将边缘智能平台内部基于OpenStack 的平台管理子系统进一步轻量化，并考虑将一些微服务架构迅速地引入边缘智能平台，从而降低管理开销。此外，边缘智能的商业运营模式、部署位置、自愈和自动扩缩容等问题仍需要得到进一步的明确和解决。
当前，虽然边缘智能仍处于发展初期，不过作为下一波计算浪潮，从通信行业、互联网行业再到工业领域，普遍对边缘智能将要发挥的重大作用寄予了厚望。边缘智能作为使能 5G 三大典型应用场景的计算范式，把IT服务环境和云计算能力扩展到了移动网络边缘，必将与云端智能协同助力各行各业的数字化转型。随着5G的普及，相信不久将看到全球边缘AI服务成本的下降和需求的上升。
