智能图像传感器由图像传感器和视觉软件组成,能够捕捉和分析视觉信息,代替人眼做各种测量和判断的设备,其应用组件-摄像头目前已广泛应用于各类消费电子如:手机、电脑、可穿戴设备,未来随着ADAS系统的广泛普及和无人车的推出,车感摄像头领域将会迎来一轮爆发。相比摄像头,激光雷达的3D成像更加精准是无人车视觉系统的首选,将会成为资本市场追捧的热点。
智能图像传感器应用广泛,车感摄像头和激光雷达蓄势待发
我们认为车用、无人机、AR/VR用智能图像传感器将会成为未来5年的新增需求增长点,并预测车用摄像头的市场规模可由2016年58亿美元增长至2020年214.5亿美元,年均复合增速为38.6%;保守估计车用激光雷达可由2016年6亿美元增长至2025年80亿美元,年均复合增速33%;无人机用摄像头可由2016年1200万美元增长至2020年1亿美元,年均复合增速为35.4%。由于激光雷达成本过高,目前各种成像技术多以摄像头运用为主,但未来随激光雷达成本的降低,其在各个领域对摄像头的替代作用也将凸显。
MEMS传感器是智能传感器的未来,重点关注固态激光雷达
具有微米量级特征的MEMS传感器正逐步取代传统机械传感器的主导地位。初步估算MEMS(微机处理系统)智能传感器将会从2015年的115亿美元增长至2021年的200亿美元。摄像头技术应用比较成熟,3D成像、虹膜识别、手势识别是技术发展的主要趋势。激光雷达成本高昂,尚未实现商业量产,未来,为降低成本而取消其机械旋转结构的集成方式将会成为未来技术的突破口,应当重点关注能够实现固态激光雷达扫描的MEMS微振镜技术和光相控阵列技术。
溢价收购+高额融资,资本市场热衷激光雷达和无人驾驶
Mobile eye2014年在美上市,IPO当日募资8.9亿美元,后被英特尔收购,溢价达34.4%,以色列Luminar种子轮融资达3600万美元,以色列Oryx A轮融资1700万美元,美国Quanergy B轮融资9亿美元,中国禾赛科技A轮融资1.1亿元,无人驾驶和激光雷达,备受资本市场的追捧。
投资逻辑,未来市场可关注
硅基材料仍然是市场主流的智能图像传感器材料,但Luminar激光雷达所用的InGaAs材料具有更高的敏感性,或未来实现大规模应用,或对硅基材料有一定的替代性。
人工智能领域,专业化、集成化将会成为未来传感器模组的发展趋势,实现专业化的核心在于算法与功能的匹配,不同类型的传感器的集成,可使之功能互补,扬长避短。目前先进的算法被国外垄断,集成模式将会成为未来3-5年内中国智能图像传感器市场发展的主要趋势。
手机、PC行业的发展已相当成熟, AR、VR是市场热点。随各国对汽车ADAS系统的重视与推广,车用智能图像传感器将会是行业的新增长点。另外,无人机、车联网、智慧城市,也将会是行业未来的风口。
最后,从算法来看,嵌入式技术有更强的针对性,在解决本地问题具备优越性。人工智能领域的深度学习将成为业内主流算法,而大数据结合端对端的高速传输将会推进深度学习算法的实际应用。
我们认为车用、无人机、AR/VR用智能图像传感器将会成为未来5年的新增需求点,预计2020年摄像头市场规模达223亿美元,2016-2020年均复合增速为37%;2025年车用激光雷达市场规模可达80亿美元,2016-2025年均复合增速33%,且随激光雷达成本不断降低,其对摄像头的替代作用也将凸显。
一、 智能图像传感器简介
国家标准将传感器定义为:能感受规定的被测量,并按照一定规律转换成为可用输出信号的器件或装置,通常传感器包括两部分:敏感元件和转换器。IEEE 协会从最小化传感器结构的角度,将能提供受控量或待感知量大小且能典型简化其应用于网络环境的集成的传感器称为智能传感器。其本质特征为集感知、信息处理与通信于一体,具有自诊断、自校正、自补偿等功能。
目前智能传感器广泛应用于消费电子、汽车工业、航空航天、机械、化工及医药等领域。随着物联网、移动互联网等新兴产业的兴起,智能传感器在智能农业、智能工业、智能交通、智能电网、健康医疗、智能穿戴等领域,都有着广阔的应用空间。
智能图像传感器是能够捕捉和分析视觉信息,代替人眼做各种测量和判断的设备,由图像传感器和视觉软件组成,前者用于捕捉图像,后者用于分析“看到”的内容。典型的图像传感器可以分为:图像采集、图像处理和运动控制三个部分。它综合了光学、机械、电子、计算机软硬件等方面的技术,涉及到计算机、图像处理、模式识别、人工智能、信号处理、光机电一体化等多个领域。
根据感光器件的不同,图像传感器可以分为CCD和CMOS两种。两者都执行相同的步骤:光电转换——电荷累积——输出——转换——放大。
CCD成像仪主要由两部分构成:滤色器和像素阵列,微透镜将光线漏光到每个像素的光敏部分上,当光子通过滤色器阵列时,像素传感器开始捕获通过的光的强度,然后对光信号进行组合,统一输送到外部线路进行A/D处理。与CCD相比,CMOS是具有像素传感器阵列的集成电路,其每个像素传感器都有自己的光感传感器、信号放大器和像素选择开关。
智能传感器的实现结构主要有三种:非集成化实现、混合形式、集成化实现。按照智能化的程度,分别对应:初级、中级和高级形式。MEMS传感器是指采用微机械加工和半导体工艺制造而成的新型传感器。与传统的机械传感器相比,MEMS传感器具有体积小、重量轻、成本低、功耗低、可靠性高、适于批量化生产、易于集成和实现智能化等特点。从集成化的角度来说,MEMS传感器是智能传感器的未来。
目前最常见的智能图像传感器组件便是摄像头,已普遍应用于手机和可穿戴设备等消费电子,目前手机、平板电脑市场趋于饱和,未来无人驾驶、车联网、AR、VR、无人机等新兴智能领域将会成为智能图像传感器的新增需求点。在这些领域的主流传感器组件分别是:摄像头、毫米波雷达、激光雷达。其中激光雷达在探测距离、探测精准度、天气适应性和夜视功能方面具有极大的优势,将会成为未来高端成像设备的主流。
激光雷达的成像原理可简单概括为:激光雷达的发射模块发射出一束具有一定功率的激光束或者是光脉冲,然后经散射镜将光线散射出去,打到待探测目标面上;反射回来的信号由激光雷达的接收模块接收,经过内部的信号处理,结合强度像和距离像的融合,经显示设备输出待测目标的三维图像。
与相机图像不同,激光雷达可通过测量光线的飞行时间,测量物体距离。除此之外,相机的数据源单一,不可靠,虽具有完全360°的覆盖范围,但很容易被迎面而来的光线、黄昏或阴影中看不到东西所遮挡,无法区分远处的重要场景。以车用传感器为例,分别对比摄像头、毫米波雷达、激光雷达,三者之间的区别如下图所示:
二、智能图像传感器主要应用领域及市场空间
20世纪90年代末期,随着CMOS图像传感器工艺和设计技术的进步,市场份额不断扩大,近年来市场占有率已经超过90%,取代CCD成为主流。2016年CMOS的市场规模为103亿美元,三大巨头索尼(Sony)、三星(Samsung)和豪威(Omnivision)分别占比全球市场份额35%、19%和8%,合计占比62%,市场格局相对比较集中。
从区域市场的分布来看,根据Globle image sensor的预测,2012-2018年全球全球图像传感器市场规模同比增长率为4.35%,到2018年,市场规模可达106.6亿美元,增长主要集中在亚洲,中国将会成为最大的受益国。2012年北美、亚洲和欧洲和其他区域的市场份额分别为35%、34%、22%和9%,而到了2018年四大区域的市场份额分别为:27%、40%、18%和15%。
从下游应用领域分布来看,当前CMOS图像传感器主要应用于智能手机和平板电脑,占比下游应用70%左右。随着嵌入式数字成像技术迅速扩展,未来用于智能手机和平板电脑的CMOS的比例将会逐渐降低,汽车系统将成为CMOS图像传感器增长最快的应用,到2020年汽车行业传感器市场规模可增长至22亿美元,约占市场总额152亿美元的14%。2015年-2020年,汽车用CMOS全球销售额复合年增长率可达55%。
在汽车行业之外,未来2015-2020年间,安全监控领域可保持36%的年均复合增速,增长至9.12亿美元;医疗/科学应用领域可保持34%的年均复合增速,增长至8.67亿美元;玩具/电子游戏可保持32%的年均复合增速,增长至2.74亿美元;工业系统可保持18%的年均复合增速,增长至8.97亿美元。
从应用形式来看,CMOS传感器的主要应用为摄像头模组(CCD), 2014年全球CCD市场规模为201亿美元,其中封装、AF(自动对焦系统)& OIS(图像稳定系统)供应商规模合计占比市场份额的72%,分别为72亿美元和72.5亿美元。根据Yole Développement预计,2020年CCD全球市场规模可增长至510亿美元,6年间的年均复合增速为16.8%,其中封装领域市场规模达225亿美元,年均复合增速20%;AF & OIS市场规模达155亿美元,年均复合增速13%。
目前手机、电脑用摄像头是摄像头模组下游应用的最广泛领域之一,未来随着无人驾驶技术的逐步推进,融合了图像传感器的车载摄像头以及激光雷达,作为ADAS的解决方案将会面临新一轮的增长,除了车感摄像头之外,无人机和机器人领域、以及增强现实(AR)和虚拟现实(VR)领域都将是智能图像传感器的新的市场增长点。
1. 汽车领域的发展状况
相比手机摄像头,汽车摄像头的进入壁垒更高,单价也是手机摄像头的八倍左右(车载摄像头价格在 32 美元(约合人民币 197 元)左右,夜视用车感摄像头更是高达上千美元。2016年ADAS的市场规模为105亿美元,根据 Strategy Analysis 预测,到2020 年ADAS 市场规模可达300亿美元,复合增长率可达24%。
随着ADAS市场的爆发,车用摄像头迎来了增长的风口,作为ADAS全景系统的重要组成部分,市场上主流的ADAS解决方案中,一辆车至少安装7个摄像头,按照安装的位置,分别分为:前视、后视、侧视以及车内监控四大部分。目前来看欧美国家的ADAS的市场渗透率较高,在8%左右,而中国的渗透率较低,为3%左右。且欧美各国近期都纷纷出台强制安装ADAS系统的政策,未来ADAS系统的渗透率将会逐步提高,相关机构预测到2020年全球新车ADAS系统的渗透率可达20%。
2005年-2015年,全球汽车产量由6593.4万辆增长至8967.8万辆,年均复合增速3%,预计未来仍以该速度增长,至2020年全球汽车产量可达1.04亿辆,由此预估车用摄像头的市场规模到2020年可达214.5亿美元,年均复合增速为38.6%。
ADAS系统是无人驾驶的基础,未来随着ADAS系统技术的不断成熟,无人车也将会进入爆发增长阶段。相比车感摄像头,激光雷达可以探测到更远的距离,对恶劣天气的适应性更强,因而成为无人车视觉系统的首选。根据激光雷达的激光发射器的数量不同,目前Velodyne Lidar无人车系统用激光雷达售价在7999美元-8.5万美元,未来随着激光雷达技术的不断发展,成本可进一步降低,对车感摄像头的替代效应也将凸显。
根据BI Intelligence预测,未来自动驾驶车辆(包括L1-L5)将会由2016年的50万辆增长至2025年的2200万辆,其中不包括能够实现L5的全自动驾驶车辆,达到L5级别的全自动驾驶车辆预计2025年之后将会出现。由于激光雷达的价格较贵,假设只有高自动驾驶车才会安装,目前高端车占比市场总量的4%左右,保守估计2017年到2025年车用激光雷达的市场规模可以由10.5亿美元增长至80亿美元,年均复合增长率在33%左右。
2. 无人机和机器人领域的发展状况
无人机和机器人有着极其广泛的细分市场,包括消费者无人机,自动驾驶车辆,招待机器人,远程呈现等,预计无人机和机器人业每年将新增至少10种应用,带来约10亿美元的收入。目前无人机和机器人传感器的市场规模为3.51亿美元,预计到2021年可增长至7.09亿美元,年均复合增速可达12.4%。
具体到智能图像传感器在无人机领域的应用,目前主要是以相机模组的方式,搭载在无人机上,作航拍或者地图测绘等需要成像的领域,2014年无人机出货量为45万台,市场规模约7亿美元,高盛预测,未来到2020年,无人机出货量可达780万台,市场规模可达33亿美元,出货量年均复合增速达60%。随着无人机市场的爆发,无人机用摄像头也将会迎来新增长,预计到2020年无人机用摄像头市场规模可达1亿美元,2013-2020年年均复合增速达35.4%。目前激光雷达成本较高,多用于测绘用无人机上,未来随着激光雷达技术不断成熟,成本不断下降,激光雷达在无人机市场的应用也将会越来越多。
3. AR(增强现实)和VR(虚拟现实)领域的发展状况
随着AR和VR的应用越来越广泛,该市场包括了音频、图像、存储器和处理器,几乎可以涵盖我们生活的方方面面。就近期而言,推动AR/VR发展的九大动力主要是:游戏、现场活动、电影娱乐、保健、不动产、零售、工业以及军事,其初始驱动力来源于个人消费。高盛预计2025年,AR/VR软件收入的60%将来源于个人,40%源自于企业和公共部门,而推动AR/VR的应用的三大动力主要是:用户体现、技术突破和内容的拓展。
相关机构预测2016年-2025年,AR/VR的市场规模可从40亿美元增长至800亿美元,年均复合增速可达40%,其中硬件规模可由20亿美元增长至420亿美元。在未来市场增长一般的情况下,AR/VR设备的出货量可由2016年的120万台增长至2020年的730万台,年均复合增速为57%。而在未来市场增长较好的情况下,AR/VR设备的出货量由2016年的840万台增长至2020年的7000万台,年均复合增速可达68%。
由市场和出货量我们可以估算出2016-2020年AR/VR设备的平均售价为2380美元/台,未来随着技术的不断成熟,价格将会进一步降低。保守估算AR/VR领域用摄像头市场规模由2016年8400万美元增长至2020年的7亿美元,年均复合增速为70%。
具有微米级特征的MEMS传感器正逐步取代传统机械传感器的主导地位,预计2021年,MEMS智能传感器市场规模可达200亿美元,2016-2021年均复合增速为9%。摄像头技术应用比较成熟,激光雷达尚未实现商业量产,未来可重点关注能够降低成本的固态激光雷达的实现方式。
三、智能图像传感器的技术现状及未来发展趋势
1.MEMS是智能传感器的未来
智能传感器的基本技术主要包括:功能集成化、人工智能材料的应用、微机械加工技术、三维集成电路、图像处理及DSP(数字信号处理)、数据融合理论(嵌入式数字成像技术),有两种设计结构,分别是:数字传感器信号处理(DSSP)和数字控制的模拟信号处理(DCASP),一般采用DSSP模式,通常至少包括两个传感器:被测量传感器(如图像传感器)和补偿传感器,传感信号经由多路调制器送到A/D转换器,然后在送到微处理器进行信号补偿和校正,测量的稳定性只能由A/D转换器的稳定性决定。
具有微米量级特征的MEMS传感器可以完成某些传统机械传感器所不能实现的功能。因此,MEMS传感器正逐步取代传统机械传感器的主导地位,在消费电子产品、汽车工业、航空航天、机械、 化工及医药等领域得到广泛的应用。
MEMS 传感器的门类品种繁多,目前压力传感器、加速度计和陀螺仪是MEMS器件应用最广泛的器件,MEMS的市场总额为54.25亿美元,其中压力传感器、加速度计和陀螺仪合计占比约45%,随着各国对ADAS系统的重视,以及无人驾驶的爆发,未来汽车电子市场的增长将会成为驱动MEMS市场增长的主要动力。
Yole Développement预测,未来MEMS(微机处理系统)智能传感器将会从2015年的115亿美元增长至2021年的200亿美元,年均复合增速为9%,在相同时期,出货量的同比增长率达13%。
2.智能图像传感器技术现状与发展趋势
智能图像传感器涉及到计算机、图像处理、模式识别、人工智能、信号处理、光机电一体化等多个领域,主要分为硬件系统和软件系统两大部分。硬件系统包含了处理器、存储器和控制器,软件系统主要包括各种驱动和算法。
目前较为先进的应用主要有:激光雷达、3D成像和传感技术、虹膜识别。
激光雷达的成像主要涉及以下几个主要部件:激光发射器——散射片——接收器——处理器——输出显示,其中关键部件在于激光发射光系统和接收光系统。
发射光系统中的激光器的输出波长因工作物质的不同而不同,根据工作物质(气体、光纤、半导体、自由电子、液体激光器)、激励能源(光泵、电激励、化学式)以及输出的波长(红外激光器、紫外激光器和可见激光器)可以对激光器进行不同的分类,目前主流激光器主要有:固体Nd:YAG激光器、光纤激光器、半导体激光器等。
用于激光雷达系统的激光器的关键技术指标在于光波可探测的距离,对于激光雷达来说,激光器发出的光波越长,可探测的距离就越长,而光波长度不仅取决于光波本身的特性还取决于激光器的功率,一般而言,功率越高光波可探测的距离越长。
激光雷达接收器的作用在于将目标反射或者散射的激光回波信号转换为相应的电信号,主要由:接收光学系统、光电探测器、前置放大器、主放大器和探测器偏压控制电路构成。就接收器使用的材料而言,主要是IV族中的Si、Ge和III-V族的GaAs、InP等材料,但硅材料以其晶体完整性、大尺寸、优良的热学性能等以及硅微电子技术的成熟性等优势,广泛应用与目前的集成电路。但具最新消息,在Luminar公司即将推出的1000台性能优越的激光雷达(40阵列、探测距离可达200米),所用激光接收器为InGaAs接收器。相比硅基的激光接收器,InGaAs接收器具有更高的敏感性,但成本更高,未来随着成本的降低,将会有越来越广泛的应用。
除了有可以接收直线光的接收器之外,还有另外一种形式接受光信号的形式,即是Oryx独家开发的“相干光雷达系统”。不像激光雷达那样通过光电传感器来侦测光线粒子,该系统根据光的“波粒二象性”,以波的形式使用纳米天线来感知反射回来的信号(光)。
其原理是:用激光束照亮前方,用第二套光学仪器,将入射光导引到大量的微型整流纳米天线中。由于系统不需要机械镜面或一系列通道来引导激光、捕捉环境,只需要发出激光束来照亮前方,所以可大大降低成本。另外,系统所使用长波红外光被水吸收的比率很低,也很少受到太阳辐射的影响,所以不会在大雾或强光直射环境下失效。
激光雷达按有无机械旋转部件分类,包括机械激光雷达和固态激光雷达。根据线束数量的多少,又可分为单线束激光雷达与多线束激光雷达。而未来的发展方向将会从机械走向固态,从单线束走向多线束。
目前激光雷达迟迟没有大规模应用的原因在于组装和调试成本高,为了实现激光在水平视角的360°扫描,需要为激光雷达安装机械旋转装置,而降低激光雷达成本的根本手段便是取消机械旋转结构。方法一是:利用MEMS微振镜来控制激光的方向,把所有的机械部件集成到单个芯片,目前荷兰Innoluce公司正在着手这一技术的研发,预计2018年量产,成本不超过100美元。方法二是:完全取消机械结构,采用相控阵列的原理实现固态激光雷达。光相控阵列的原理是:采用多个光源组成阵列,通过控制各光源发射的速度和时间差,灵活合成角度,且精密可控的主光束,目前Quanergy公司的S3产品用的就是这一原理,成本可降低至250美元/台。
随着激光雷达技术的推进,微型化、低成本、高性能将会成为必然趋势,固态激光雷达也将会成为最终的激光雷达形式。全球现有的激光雷达的主要生产厂家,如下表所示:
3D成像能够识别视野内空间每个点位的三维坐标信息,从而使得计算机得到空间的 3D数据并能够复原完整的三维世界并实现各种智能的三维定位。目前在高端市场如:医疗和工业领域的应用逐渐成熟,呈现出加速趋势,预计2018年在移动和计算领域将会有大量3D成像和传感产品面市,如:iPhone 8将采用前置3D摄像头、Kinect游戏配件和Leap motion手势控制器,3D成像技术将是解决人机交互的突破口。
目前主流的 3D 成像技术有三种:
(1)结构光(Structure Light)。具有特别结构的光投射特定的光信息到物体表面后,由摄像头采集。根据物体造成的光信号的变化来计算物体的位置和深度等信息,进而复原整个三维空间,代表公司如:以色列 PrimeSense 公司 Light Coding 方案。Light Coding发射 940nm波长的近红外激光,透过diffuser(光栅、扩散片)将激光均匀分布投射在测量空间中,再透过红外线摄影机记录下空间中每个参考面上的每个散斑,形成基准标定。标定时取的参考面越密,则测量越精确。获取原始数据后,IR传感器捕捉经过被测物体畸变(调制)后的激光散斑pattern。 通过芯片计算,可以得到已知 pattern 与接收pattern 在空间( x, y, z)上的偏移量,求解出被测物体的深度信息。
(2)TOF(Time Of Flight,飞行时间)。通过专有传感器,捕捉近红外光从发射到接收的飞行时间,判断物体距离。TOF的硬件实现方式和结构光类似,区别只是在于算法上,结构光采用编码过的光pattern进行投射,而TOF直接计算光往返各像素点的相位差。
(3)双目测距( Stereo System)。原理类似人的双眼,在自然光下通过两个摄像头抓取图像,通过三角形原理来计算并获得深度信息,目前的双摄像头就是双目测距的典型应用。
从技术角度来说, 3D成像并不是近年才新出现的。自2009年微软发布基于3D成像的游戏体感交互设备Kinect已经有8年时间,而Google的Project Tango也提出了4年。3D 成像已经过了技术基础期,即将进入长达5年以上的高速成长期。
虹膜识别是一种新兴的生物特征识别技术,通过采集虹膜图像,提取和比对虹膜纹理特征点之间的差别来识别身份,相比于传统的指纹、人脸等生物特征识别技术具有唯一性、稳定性和高度的防伪性等优势。对比其他生物测定技术只能读取13-60个特征点,虹膜测定技术可以读取266个特征点,准确率高达99.29%。虹膜识别技术的过程一般来说包含如下四个步骤:虹膜图像获取——图像预处理——特征提取——特征匹配。
虹膜识别系统自进入21世纪之后开始大量应用于安防、监控、特种行业身份识别等领域,但由于其硬件的笨重和算法的低灵敏度,并没有突破消费级电子市场。直到2015年5月,日本手机厂商富士通发布了全球首款限量产虹膜识别智能手机Arrows NXF-04G,才被人们认知。但相比目前的指纹识别,并没有得到广泛的应用,其原因在于以下三大挑战:虹膜算法,基于互联网的安全解决方案以及虹膜支付的生态建设。
同时,虹膜识别技术本身也存在着以下几点主要难题:图像难采集、睫毛和眼皮的遮掩、瞳孔弹性形变、头或眼球的转动带来虹膜旋转误差、戴眼镜的反光影响、不同摄像头设备带来图像质量的差异等。
3.融合智能传感器的ADAS解决方案(以Mobile eye为例)
ADAS即是汽车驾驶辅助系统,Mobileye ADAS在功能方面覆盖了安全增强、便利提高两个方面功能,详情如下表所示:
Mobile eye 的ADAS系统主要有三大核心技术,分别是:传感器识别(Sensing)、高精地图定位(Mapping)和驾驶策略系统(Driving Policy)
(1)传感器识别包括车辆搭载的所有传感器设备:摄像头、雷达、激光雷达、超声波传感器等, 所有这些传感器所收集到的信息,都将作为原始数据被传输到高性能电脑当中并加以分析,为车辆建立环境模型(environmental model)。
Mobileye的图像识别技术主要是基于EyeQ芯片技术的基础,研发单眼摄像头。 EyeQ 芯片是Mobileye的核心技术,具备异构可编程性,用来支持包括机器视觉、信号处理、机器学习任何以及深度神经网络的部署。从 EyeQ5 开始, Mobileye 将会正式支持全自动驾驶标准的操作系统以及全套开源 SDK 用于开发者进行算法开发。Mobileye 下一步布局三目摄像头识别以及传感器融合,完成360°全车周图像传感识别的覆盖。
(2)高精地图定位:用于帮助车辆在整个路径规划中精确定位,提供无人驾驶系统安全冗余, 高精度地图的车辆定位精确度达到了10cm,远高于GPS的定位精确度。Mobileye推出道路体验管理系统(Road Experience Management, REM)——一个端到端地图和定位引擎。这个引擎包含三个主体:数据采集主体、地图整合服务器(云端服务器整合众包数据)、地图使用主体(无人驾驶车辆)。
数据采集主体采集包括车辆路径几何数据、静止路标等数据,然后 Mobileye 进行实时几何及语义分析,之后这些数据被封装为道路段数据(Road Segment Data)并传送到云端服务器。云端服务器进行数据整合以及源源不断的 RSD 数据流量协调,最终打造为一张高精度、低反应时间的全球路书 Roadbook。最后就是路书的本地化:让无人驾驶车辆能够使用这张路书, REM 会让车辆在路书地图中自动定位并根据实时更新来确保定位准确。
(3)驾驶策略系统是针对各种路况做出反应的决策系统。无人驾驶系统技术的难度在于路况的随机性。Mobileye使用了一种深度学习方法——强化学习(reinforcement learning)算法。主要基于一个模拟复杂驾驶环境的仿真平台,给定一个目标,让驾驶决策系统在模拟过程中自行试错调试,对正确的决策进行奖励,对错误的决策进行惩罚,从而实现自我学习和积累。
近期,Mobile eye与德尔福合作预计到2019年推出中央感应定位和规划(CSLP)自动驾驶系统,该项系统融合了相机、雷达、激光雷达等最佳的感知传感器,汽车经验和计算机处理速度,是首个交钥匙全集成自动驾驶解决方案,具有行业领先的感知系统和计算平台。2019年CLSP系统将采用几项先进技术,包括:本地化能力、自由空间检测、360°的行人感知、3D车辆检测、路径和运动规划。