视觉高精地图构建的全面回顾!一起看看无图感知都有哪些落地方案(清华&滴滴)

人工智能 智能汽车
今天为大家分享刚刚出炉的视觉高精地图构建综述(清华&滴滴),文章全面回顾了离线&在线的相关方法,研究无图/轻图方案的小伙伴们可冲!

本文经自动驾驶之心公众号授权转载,转载请联系出处。

写在前面&笔者的个人理解

近年来,自动驾驶受到越来越多的关注,高精地图成为自动驾驶技术的关键组成部分。这些地图提供了道路网络的复杂细节,并作为车辆定位、导航和决策等关键任务的基本输入。鉴于视觉传感器的广泛可用性和可负担性,已成为自动驾驶汽车不可或缺的一个方面。这篇综述的目的是为研究人员提供HD地图构建的最新进展的全面概述和总结。文章首先简要总结了与使用相机传感器创建高精地图相关的关键框架和背景信息。随后对地图制作所使用的研究方法进行了全面调查,包括离线和在线方法。特别是,基于网络的建图方法已经成为HD地图领域的一个突出研究领域。为了应对这一迅速发展的趋势,我们对这一特定领域的各种研究工作进行了全面而细致的概述。最后讨论了相关问题和未来的挑战,旨在指导研究人员了解该领域的当前趋势和流行方法。

总结来说,本文的主要贡献如下:

  • 1) 回顾了现有的关于高精地图构建的文献,特别关注基于相机的方法。我们分析了这些方法的优势和局限性,深入了解了它们在实时自动驾驶应用中的有效性和适用性;
  • 2) 强调了使用神经网络进行端到端建图的新兴趋势,这展示了实时高精地图生成的潜力。我们讨论了它们的基本原理、架构和性能,揭示了它们在该领域的可行性和实用性;
  • 3) 确定了基于相机的高精地图构建中的关键挑战和悬而未决的研究问题。

聊一聊相关背景

HD地图是一种数字汽车地图表示,可以全面准确地描述自动驾驶汽车导航的物理环境。这些地图的构建需要利用各种数据源,包括相机和激光雷达传感器。考虑到相机传感器的成本效益和语义鲁棒性,它们的集成已成为自动驾驶汽车传感器套件的重要组成部分。在本节中,我们阐明了高精地图构建的任务定义,并提供了该领域所用方法的系统分类。

A.高精地图构建的任务定义

高精地图的构建通过生成准确表示物理环境的三维模型,丰富视觉传感器的数据以实现高精度。基于相机的高精地图包括使用安装在车辆上的一个或多个相机来捕捉道路环境的图像,然后处理这些图像以提取所需信息。

首先,采集的图像要经过地图元素提取方法,包括车道标记、交通标志、道路边界等的识别。通常,计算机视觉算法,如边缘检测、目标检测和语义分割,都用于此目的。随后,利用提取的地图元素来构建道路环境的3D表示,有助于生成HD地图。这涉及到将二维元素映射到三维模型上,从而能够创建道路环境的详细描述。最后,生成的高精地图经过验证和定期更新,以确保其准确性和完整性。

从本质上讲,高精地图的构建过程需要整合多种技术和技术,包括数据收集、处理和地图生成。通过解决这些技术固有的相关挑战和局限性,我们可以提高高精地图制作的准确性和可靠性,从而促进更安全、更高效的自动驾驶汽车的开发。

B.高精地图构建的分类

根据时间成本要求、数据处理管道和计算资源,可视化方法可大致分为离线和在线方法。同样,基于高精地图构建中使用的数据处理框架,视觉方法可以大致分为基于规则的方法或基于网络的方法。

1)离线和在线方法:术语“在线”和“离线”建图起源于SLAM领域,用于区分实时车载过程和外部进行的过程。在线和离线之间的选择取决于传感器数据的处理方法、算法的运行时间是否满足实时要求以及计算设备的使用情况。该命名法已被各种方法广泛采用。值得注意的是,HDMapNet引入了在线高精地图构建的概念,强调使用车载传感器和硬件创建本地地图。这种方法不同于传统的解决方案,传统解决方案严重依赖人力资源进行场外注释。

如图4所示,离线建图方法需要在服务器上进行漫长的计算才能获得详细的高精地图,在线建图方法直接在自车中生成语义地图。全局高精地图的构建通常是离线过程。主要目标是生成可用于自动驾驶的详细准确的地图。离线处理允许更多的传感器数据、更复杂的算法和更长的处理时间,从而实现更高的准确性和完整性。SLAM是一种在线地图构建方法,需要实时处理来估计车辆的位置并同时绘制地图。随着计算机视觉任务的发展,地图已被建模为神经网络可以学习的目标,也逐渐出现了能够端到端在线构建高精地图的网络。

2) 基于规则和基于网络的模型:基于规则的高精地图使用预定义的算法和规则,使用颜色阈值和霍夫变换等技术构建地图。虽然这些方法很简单,但可能缺乏准确性、稳定性和对不同环境的适应性。相比之下,基于网络的方法在管理复杂场景、学习复杂模式以提高准确性方面表现出了高超的能力。然而,它们依赖于标注的数据和大量的计算资源,并且它们的拟合能力限制了全局HD地图的生成。混合方法结合了其他方法,在各自擅长的地方使用。例如,语义分割网络可以提取地图元素,而基于规则的3D重建,如关键点匹配,是3D构建阶段的首选。

C.相关数据集

无论是使用数据驱动的网络方法还是基于规则的方法,高精地图的构建都需要大量的数据。相关数据集大致可分为二维数据集、三维数据集和高精地图数据集。

  • 2D数据集:常见的2D数据集有Cityscapes、Mapillary Vistas等;
  • 3D数据集见表1;
  • HD map数据集:最常见的HD map数据集便是nuScenes、Argoverse2、OpenLane-V2等;
  • 车道数据集见表2。

基于视觉的离线全局高精地图构建

基于昂贵采集车辆的传统集中式高精地图构建和基于传感器的低成本视觉众包解决方案都不在自动驾驶汽车的车辆侧进行高精地图构建。我们将这种在云中或服务器上构建高精地图的方法归类为离线高精地图构建,表示在车辆侧完成数据收集后,需要离开车辆侧将传感器数据处理成地图。在本节中,我们首先解释离线构建高精地图的原因。接下来详细介绍离线构建高精地图的常见步骤:地图元素提取、三维矢量化重建和地图元素更新。第一步是地图元素提取,包括识别和隔离地图上的不同地图元素实例,如车道、灯杆和地标。这个过程可以使用各种技术来实现,例如语义分割和目标检测算法,它们分析输入的视觉传感器数据以提取和分类不同的元素。该过程中的第二步是地图元素的3D重建。一旦识别并隔离了地图元素,下一步就是创建这些元素的3D表示。这通常使用计算机视觉技术来重建3D环境。这些方法允许创建每个地图元素的高度精确的3D模型,该模型可用于创建详细和精确的地图。近年来,随着三维检测任务的发展,人们对直接从传感器输入中估计三维目标的位置和形状信息进行了大量研究。地图元素也可以作为3D检测算法的研究目标,直接获得3D地图元素信息。然而,目前对3D地图元素的端到端提取的研究有限,只有3D车道线提取的工作和数据集。通过融合3D地图元素、位置、基础地图和其他信息,可以构建或更新高精地图。总体而言,离线构建高精地图的过程非常复杂,需要准确的地图元素的位置和形状信息,并进行有效的融合。

A.为什么要离线构建高精地图

由于高精地图的高精度,从传感器数据到地图的制作过程需要先进的算法来处理大量的传感器数据,并使三维地图中的地图元素尽可能精确,以获得覆盖范围广的高精地图。因此,高精地图的制作需要大量的计算资源,如强大的处理器,以克服大数据量和复杂制作步骤的挑战。然而,所需的计算资源很难在自动驾驶汽车的车载硬件上实现,尤其是在自动驾驶车辆的情况下,其中计算硬件配备了更真实的车辆感知算法,这些算法需要大量资源来确保驾驶安全性和可靠性。由于自动驾驶汽车上安装的算法之间的优先级限制,可用于地图绘制的计算资源量将不丰富。将传感器数据传输到远程服务器进行处理可以降低车辆网络连接的负载和存储容量。此外,在其他服务器上离线构建高精地图允许多辆车共享同一张地图并协作构建。这减少了重复性工作,并提高了地图的准确性和完整性。高精地图的离线构建仍然是绘制地图的主要方法。在这篇文章中,我们将只讨论基于相机的算法。

B.离线全局高精地图构建pipeline

基于相机的离线高精地图创建过程,从图像数据输入开始,可以分为地图元素提取、地图元素的三维重建、定位和建图。

地图元素提取是从相机传感器构建地图的第一步。该步骤主要涉及通过对输入的原始图像数据的一系列操作来获得关于图像平面中的结构化地图元素的准确信息。最初,这是使用简单的计算机图形算法实现的,例如基于霍夫变换的车道线提取。随着今年图像算法的发展,目标检测和语义分割得到了广泛的研究。地图元素可以用作经典计算机视觉任务的研究目标,如语义分割和目标检测。可以对地图元素进行注释,并通过相应地训练神经网络来获得地图元素的提取结果。通过神经网络提取地图元素的方法使地图元素提取算法更加稳健和灵活,减少了人工干预,大大提高了地图构建的效率。具体而言,segment anything的工作标志着使用神经网络提取图像目标的时代更加全面和精细,这提供了更强的提取地图元素的能力。

3D元素建模紧跟着在透视图中提取地图元素的工作。该步骤是通过透视变换将相机空间中的地图元素转换为3D空间中的地图元素。传统的方法通常是利用激光雷达数据通过校准获得这种转换关系,并通过简单的计算直接进行透视变换。最近,越来越多的方法试图探索通过神经网络实现从2D图像输入到3D空间的地图元素提取。近年来,随着Nerf的提出,用于3D地图重建的隐式编码空间视角关系的神经网络正逐渐被考虑在内。

数据融合是高精地图离线建设的最后一步。这项工作通常利用多个帧之间的一致性来融合每个帧的提取地图元素数据。通过融合多帧数据,最终获得完整的全局高精地图。

C.地图元素提取

地图要素提取是高精地图构建中最重要的环节。它是从原始视觉传感器数据中提取准确的结构化地图元素信息,这是高精地图构建的基本任务。在传统的集中式高精晰度地图构建方案中,如图2所示,地图元素提取通常通过基于规则的方法来完成,如霍夫变换、多项式拟合、阈值化等。

2013年后,随着深度学习的快速发展,基于卷积神经网络的方法逐渐成为主流。地图元素提取通常遵循自动驾驶感知任务的范式,将地图元素视为传统视觉任务的主体。卷积神经网络证明了在不同尺度上提取特征的能力。通过在结构上设计不同类型的网络层,可以将包括特征提取、分类、语义分割和目标检测在内的任务无缝集成到单个网络模型中,以进行全面的训练和优化。近年来,随着ViT的引入,也出现了一些基于变换器结构的特征提取主干。上述主干网络通常被设计用于图像分类任务,将提取的图像特征映射到一组分类概率中。实际应用程序的可视化任务更为复杂。

通过主干完成特征提取后,通常会根据任务要求设计不同的解码网络,输出所需的数据模式。根据不同的输出格式,视觉任务可分为图像分类、语义分割、目标检测和实例分割。

1)用于建图的语义分割:语义分割是将图像分割成与不同类别的目标(如道路、人行道、车道、交通标志等)相对应的区域的任务。它通常基于在标记图像的大型数据集上训练的网络,可以实现实时分割不同类型目标的高精度。

2)用于建图的目标检测:目标检测任务是检测和定位图像或视频帧中感兴趣的目标。它最初包括两个阶段的过程,首先生成一组区域建议,然后将每个建议分类为特定的目标类别(如汽车、行人、交通标志等)。目标检测可以基于各种CNN架构,如Faster R-CNN、YOLO、SSD、CenterNet和CornerNet。一些目标检测方法的比较如表IV所示。

近年来,ViT的发明进一步提高了物体检测任务的能力。这种机制有效地增强了模型关注整个图像的能力,并可以实现更高的精度。DETR表示的模型将目标与预设的查询相对应,使端到端的目标检测更加有效,这只有一个阶段。

目标检测方法通常提供特定目标类型的边界框信息,但它们通常缺乏精确的形状信息,这对于绘制HD地图至关重要。因此,物体检测主要用于识别元素,如地面箭头、灯杆和交通灯,这些元素主要需要关于位置和类别的信息,而不是详细的形状表示。由于物体检测技术的局限性,高精地图中形状相关元素的准确描述仍然是一个挑战。

3)用于建图的实例分割:语义分割虽然提供了像素级的语义类别,但在区分同一类别的不同实例方面存在不足,不足以满足高精地图更新和构建自动驾驶任务的驾驶空间的要求。因此,实例分割被研究为语义分割的扩展,以有效准确地从图像数据中获得元素类别、形状信息和位置细节,在自动驾驶应用中发挥着至关重要的作用。实例分割涉及处理图像数据以获取图像中每个感兴趣个体的像素级掩码,其中具有相同语义类别的个体被分配不同的实例号以及共享的语义标签。该任务能够同时提取单个类别、精确的位置信息和相应的形状细节。

D.三维重建

提取图像中的地图元素信息后,通常需要通过矢量提取、视角转换等方法对高精晰度地图的三维空间中的地图要素进行建模,如图8所示。一种常见的3D重建方法是摄影测量,它涉及使用从不同角度拍摄的照片来创建3D模型。这项技术依赖于这样一个事实,即照片中的物体根据其在空间中的位置而不同,从而可以计算其三维坐标。摄影测量可以使用专门的软件工具进行,这些工具可以自动识别和匹配照片中的特征,然后根据这些匹配生成3D模型。

E.HD地图构建

高精地图构建需要融合来自不同帧或不同相机传感器的各种地图元素及其相应的3D空间关系。此过程旨在创建地图区域的统一、精确表示。它本质上构成了一个经典的多传感器多源融合挑战。最近,随着在线地图神经网络的发展,一些工作也设计了用于离线地图融合的网络结构。MVMap利用多视图特征视角提供的全局一致性,将多个帧的地图输出集成到统一的HD地图中。为了减轻检测不太准确或不太清楚的帧的影响,该模型结合了置信度估计模块。该模块为更精确估计的帧分配更高的权重,便于基于置信度得分对HD Map补丁进行加权平均。NeMO设计了一个可写可读的大地图、一个基于学习的融合模块以及它们之间的交互。通过假设所有BEV网格上的特征分布一致,应用共享权重神经网络来更新广泛的大地图。这种创新范式能够融合广泛的时间序列数据,并创建扩展范围的BEV局部地图。

为了解决高精地图高成本注释的挑战,已经开发了矢量化地图注释(VMA)框架。它结合了一种分而治之的注释策略,以解决高精地图创建中的空间可扩展性问题。VMA将地图元素简化为统一的点序列表示,包括一系列几何图案。

表V总结了在nuScenes数据集上评估的各种语义图构建方法的性能,其中IoU作为准确性度量。对这些方法的比较表明,仍有改进的潜力,特别是在实现人行横道的更高精度方面。

基于视觉的在线局部高精地图构建

A.为什么要在线构建高精地图

在线构建高精地图是指实时生成地图。这种方法提供了几个显著的优点。首先,在线构建确保了高精地图不断更新最新数据的新鲜感。这保证了地图保持准确,即使在路况频繁变化的动态环境中也是如此。这种实时更新功能使车辆能够做出明智的决定,绕过障碍物并避免事故。其次,在线构建提供了将各种数据源合并用于地图创建的灵活性。来自联网车辆的实时数据可以补充现有的地图信息,提高准确性和适应性。第三,通过消除离线处理和存储的需要,在线高精地图构建可以潜在地降低总体成本。这在涉及大量自动驾驶汽车的场景中尤其有益,在这些场景中,成本效益高的解决方案至关重要。

B.没有矢量化实例的在线建图方法

1)onboard视觉SLAM:SLAM问题最早是在1986年的国际机器人与自动化会议(ICRA)上提出的。SLAM被描述为,放置在未知环境中未知位置的机器人是否可以逐步构建环境的一致地图,同时实时确定其在地图中的位置,要求配备有特定传感器的受试者在没有关于环境的先验信息的情况下实时估计其自身的运动以解决定位问题并且同时构建环境的地图以解决地图构建问题。

2)占用网络:占用网络的任务最早由特斯拉提出。该方法将周围环境划分为体素网格,体素的属性包括占用概率、语义信息和占用流信息。通过体素的表示,运动中的车辆对周围环境有着密集的理解和认知。从NeRF中汲取灵感,占用网络包含了一个隐式可查询MLP解码器。该解码器可以处理任何坐标值(x,y,z),以提取关于该空间中的位置的细节,包括所提到的属性信息。这种能力使占用网络能够实现3D占用地图的灵活分辨率。

总之,SLAM一直是一个广泛研究的主题,而占用网络代表了实时创建环境三维表示的最新进展,从而产生了密集的语义图。这两种类型的方法还需要更多地关注非地图元素的类别,例如行人、车辆和树木。这些信息对于实际车辆驾驶是必要的,但对于全球高精地图构建来说有些多余。此外,地图元素的实例级信息仍然短缺。

C.Onboard矢量化HD地图网络

HDMapNet的出现,及其使用神经网络直接建模矢量化地图元素实例的创新方法,引发了该领域的兴趣激增,并引发了研究的新趋势。该方法侧重于分析矢量化静态地图元素实例,最终通过应用神经网络直接从车辆摄像头数据生成矢量化地图。

1) 矢量化高精地图网络的通用管道:专门用于矢量化高精地图构建的神经网络的一般过程在图10中总结为几个主要部分。如图10所示,在输入环视图像后,高精地图构建网络的总体架构可以划分为不同的部分:主干、视角转换和地图解码器。这三个组成部分构成了视觉建图网络的基本框架,这是各种相关方法共享的共同结构。为了增强建图性能,某些方法包含了补充的后处理步骤、时间信息注入和辅助监督分支。这些附加方法对于视觉建图不是必需的。

2)使用后处理学习地图组件:HDMapNet是第一个将深度神经网络直接应用于语义地图构建的任务。具体结构如图11所示。网络结构通过视觉传感器的数据输入,通过Transformer网络模型,直接对BEV视角下的多视图数据进行解码和融合,最终生成三个网络分支,分别进行车道线的语义分割、实例嵌入量的学习和车道线方向的预测。通过对车道线进行语义分割,获得属于车道线的鸟瞰图的透视像素,然后通过实例嵌入量和方向预测字段连接每帧数据的车道起点,生成车道线实例。通过对三个分支数据的组合后处理,最终生成具有方向信息的实例级鸟瞰视角下的车道线结果,实现了简单地图的实时构建。

然而,HDMapNet仍然需要经过大量的后处理步骤。从上面自下而上的实例提取方法的介绍可以看出,这种方法消耗了大量的时间,而且后处理不稳定,无法在车端实时构建地图。

在CVPR2023自动驾驶挑战赛中,MachMap在Argoverse2基准测试中达到83.5 mAP,并以非常领先的性能位居地图挑战赛第一。MachMap将任务划分为多段线的直线检测和多边形的实例分割。

3)端到端建图网络:许多方法已经探索了端到端在线建图。VectorMapNet是第一个实现高精地图直接输出的网络。VectorMapNet通过深度神经网络提取网络编码的视角转换特征,获得鸟瞰图下的深度特征,然后将地图元素设置为查询输入,通过地图元素检测器检测关键点表示的地图元素,将鸟瞰图的深度特征和关键点进行集成,并通过设计曲线生成模型结构将连接信息分配给关键点,最终直接输出矢量化的三维地图结果。MapTR的具体结构如图12所示。后续发展出来了MapTRv2、InsightMapper、InstaGraM、PivotNet、Bi-Mapper等等一系列算法。

4)时序融合:上述方法使用视觉传感器生成矢量化高精地图。然而,由于它们仅依赖于单帧输入,因此它们遇到了限制。这种约束影响了它们的稳健性和有效性,尤其是在闭塞等复杂场景中,主要是由于缺乏时间背景。此外,当应用于感知范围扩大的情况时,它们的性能往往会恶化。引入时间信息以在此基础上构建局部地图是一种自然的过程。一方面,时间连续性为障碍物遮挡的挑战提供了有效的解决方案。另一方面,它增强了空间信息的恢复,从而提高了从PV到BEV转换的准确性。此外,时间连续性有助于直接生成综合的局部地图。StreamMapNet是第一个将时间信息引入在线地图的工作。如图13所示,主预测器与其他单帧网络结构基本相同,由BEV编码器和地图解码器组成。不同的是,它使用内存缓冲区来存储传播的内存特性。

5)矢量化地图构建网络的研究现状和比较:表VI总结了最近在nuScenes数据集上的一些工作的性能。上述最先进的研究侧重于使用具有特定规则的点集作为建模地图元素。该研究利用神经网络强大的学习能力,通过逐层可变电压解码器查询预设的地图元素实例,输出端到端的矢量化车道线地图。这使得能够实时构建端到端的车道图。然而,值得注意的是,该研究尚处于早期阶段,缺乏地图元素中典型的广泛语义和拓扑逻辑关联。此外,在利用时间信息方面的工作并不多,大量的时间感知任务提供了很好的参考价值。因此,需要进一步的研究来探索这一领域。

与建图相关的其他工作

拓扑预测

车道图是高级自动驾驶中离线高精地图的基本组成部分。道路网络对规划和导航非常有用。因此,道路网络预测的任务可以是地图的一部分。如图14所示,车道中心线、相应的十字路口、红绿灯控制信号等是高精地图的关键信息。

STSU首先提出了在线车道拓扑结构的提取,它将任务扩展到包括中心线提取和车道连接关系。随后,LaneGap等工作将连接关系建模为用于检测的可驱动路径。这一方面也包含在MapTRv2中。随后,引入了交通元素与车道之间的对应关系,进一步提高了对场景结构的理解。例如,OpenLaneV2数据集及其相应的算法TopoNet。MFV在OpenLaneV2数据集的拓扑挑战中排名第一。此外,Road Genome为拓扑推理引入了一个新的基准。

这类工作的挑战是如何将道路网络的拓扑结构建模为一组可以通过神经网络学习的值,以及如何在建模道路网络结构之间的关系以及如何有效利用信号灯和标志的信息的基础上设计适当的网络。然而,现有的数据集和研究很少,仅限于连接关系问题,缺乏对场景结构的进一步了解。

地图作为先验

自动驾驶中的高精地图是预先存在的道路信息来源,将可见性扩展到眼前之外。因此,最近的努力都致力于利用地图数据作为先验信息。

Xiong等人的“自动驾驶的神经地图先验”。介绍了一种利用先验地图作为知识库的开创性方法。该方法积极收集周围环境的各种实时信息,用于在线地图绘制。从该在线建图过程中获得的特征被存储在存储器特征库中。当车辆重新访问特定区域时,基于车辆的地理位置从记忆特征库中检索与该路段相对应的先前特征。这些记忆的特征与从在线推理中获得的特征一起在生成车辆的当前局部地图中发挥着重要作用。

受Nerf的启发,MapNeRF将地图先验融入神经辐射场,以生成指定赛道外的驾驶视图,确保语义道路一致性。这种方法解决了在相机模拟的偏差视图中保持语义一致性的挑战。

虽然地图提供了有价值的先验信息,但目前这一领域的研究只触及了表面。地图作为先验知识来源,在现有研究中并没有显著提高生成新地图的精度。因此,在这一领域仍有充分的进一步探索空间。

结论和讨论

挑战和未来前景

  • 统一地图元素表示模型。高精地图由具有空间信息和关系的地图元素组成。地图元素的表示作为地图的基本组成部分,影响着高精地图构建的效率,以克服各个模块之间的差距。该表示还确定了后续决策模块的结构化信息形式。然而,对于所有的自动驾驶管道,并没有一个统一和公认的模型。狭长的车道和杆子形状,紧凑的标记和斑马形状给通用表达带来了困难。
  • 预处理数据集。由于国家法律的限制和高昂的制作成本,有限的场景和罕见的注释对数据集的构建产生了影响。无论如何,仍然强烈需要高精地图数据集进行进一步的研究,以增强可扩展性。
  • 端到端模型与混合模型。端到端模型的性能可能会受到训练数据集的限制,而训练数据集存在严重的可扩展性问题。混合模型受到每个模型的输入和输出缺口的限制。在统一地图表示的帮助下,离线方法框架可以将深度学习模块作为混合模型集成到预先构建的物理/几何模型中。端到端模型依赖于数据集和计算能力。什么样的工作是最好的仍然是个问题。
  • 统一评估基准和指标。HD地图的研究者一直关注合适的评价基准和指标。由于呈现形式的丰富性,不同模式的高精地图无法相互比较。统一的评估基准和度量是高精地图研究的必要条件。
  • 地图元素的综合类别。尽管已经有很多关于地图构建的研究,但大多数研究仍然局限于最简单的地图元素,如车道线和人行横道。3D地图的基本元素,如道路箭头、文本、交通标志和交通灯杆,对地图的构建同样重要。因此,在三维空间中考虑更广泛、更全面的地图元素对地图构建也很重要。
  • 实时场景理解。SLAM的密集语义图和简单的矢量化图都不能为决策算法提供高度可信的认知信息。如何密切地图和决策之间的关系仍然是一个问题。
  • 高精度挑战。更高的精度一直是地图建设的一个重要挑战。更准确的结果将有助于移动车辆更准确地了解当前路况。

结论

在这篇文章中,我们研究了关于使用相机传感器构建高精地图的文献,特别是关于使用神经网络进行地图构建的文献。我们将建图方法分为基于计算硬件的离线和在线、基于神经网络和基于算法的基于规则,并总结了主流技术路线的主要过程。最后,我们讨论了这些模型的评估前景和设计趋势。

参考

[1] High-Definition Maps Construction Based on Visual Sensor: A Comprehensive Survey

原文链接:https://mp.weixin.qq.com/s/73QothZNZ4eUo0iceKPc6Q

责任编辑:张燕妮 来源: 自动驾驶之心
相关推荐

2024-09-13 09:48:51

2023-11-23 09:44:26

地图智能

2024-07-10 10:04:48

2023-11-07 10:10:56

地图技术

2024-05-24 08:35:00

Angular 18版本更新

2023-10-20 10:11:00

Nuxt 3.8前端

2022-03-31 17:38:09

高并发系统架构设计负载均衡

2012-10-25 11:27:40

BYOD无感知认证Portal认证

2024-05-27 09:38:54

2021-09-09 08:47:52

Dependency 安全漏洞工具

2022-01-19 18:31:54

前端灰度代码

2012-03-23 09:43:29

2023-10-06 13:38:41

自动驾驶特斯拉视觉

2022-11-02 08:41:40

2024-09-24 10:11:29

2015-11-10 09:57:18

APP流量

2022-01-19 08:35:24

指标敏感度CTR

2024-01-19 09:27:28

2021-06-01 07:55:43

Vuex使用流程

2024-06-25 09:26:29

点赞
收藏

51CTO技术栈公众号