本文经自动驾驶之心公众号授权转载，转载请联系出处。
写在前面&笔者的个人理解
近几十年来，电动汽车行业经历了显著的增长，主要关注自动驾驶技术的进步。尽管自动驾驶仍然方兴未艾，但在可预见的未来实现全自动汽车的前景推动下，它已经引起了人们的极大研究兴趣。高精（HD）地图是这一终点的核心，在绘制环境图时提供厘米级的精度，并实现精确定位。与传统地图不同，这些高精的高精地图对于自动驾驶汽车的决策至关重要，确保了安全准确的导航。高精地图在测试前编制并定期更新，通过各种方法精心捕捉环境数据。这项研究探讨了高精地图在自动驾驶中的重要作用，深入研究了它们的创建、更新过程，以及在这个快速发展的领域面临的挑战和未来方向。
高精地图基础知识
自动驾驶汽车（AV）需要高度精确的地图来导航道路和车道。常规数字地图不适用于AVs，因为它们缺乏有关红绿灯和标志、交通车道、杆状物体的高度以及曲线的准确大小的信息。这些地图是专门为人类使用而设计的，不能用于AV定位，因为车辆本身需要了解地图并定位其相对于周围环境的位置。
尽管高精地图至关重要，但自动驾驶行业并没有唯一的标准高精地图结构。不同的公司采用不同的架构和方法来创建高精地图，凸显了缺乏统一的方法。谷歌的Waymo是自动驾驶出租车的领导者，它使用高分辨率传感器，但具体的高精地图层还不为人所知。百度的开源Apollo平台通过不断增强其地图技术并集成激光雷达和4D毫米波雷达等先进传感器，支持精确定位、精确路径规划和实时更新，以在不同的环境中导航。
然而，我们可以查看一些可用的体系结构，以了解行业中的常见做法。HERE、TomTom和BerthaDerive（Lanelet）的高精地图共享类似的三层架构，但每层的功能略有不同。图1显示了来自HERE的高精地图示例，图2显示了HERE的HD地图定位层车道数据。Lyft Level 5有一个不同的高精地图结构，有五层。这些体系结构之间的比较如表1所示。尽管不同的公司有自己的高精地图结构，但在本文中，我们重点关注自动驾驶系统使用的地图信息的主要类别：拓扑、几何、语义和动态元素/实时更新以及基于特征的层。
Topological Representation
高精道路地图的基本组成部分是表示道路网络的拓扑结构。在高精地图中，拓扑结构捕捉道路、车道、十字路口和其他特征的连接方式。这种拓扑信息不仅有利于高精地图自主驾驶，而且有助于基于交通速度、道路质量、交通延误和交通规则等因素进行路线优化。拓扑表示通常包括节点和边，其中节点表示交叉口、互通式立交或特定兴趣点，而边表示连接这些节点的路段。边缘通常与道路分类、速度限制和转弯限制等属性相关联。它们为路径规划和决策提供了宝贵的背景。通过准确捕捉道路网络内复杂的关系和互连，高精地图的拓扑表示在实现安全高效的自动驾驶以及促进智能交通系统和车队管理等先进应用方面发挥着至关重要的作用。
Geometric Representation
高精地图中特征和对象的准确表示是另一项关键任务。高精地图的几何表示是指如何在数字地图数据中捕捉和表示环境的空间特征和布局。几何特征包括道路、车道、人行道、建筑物和地形的形状和位置。这些特征通常使用矢量数据结构来表示，矢量数据结构描述简化的几何形状，如点、线、曲线、圆和多边形。几何表示层的一个显著示例是Lyft Level 5几何地图，该地图包含关于环境的高度详细的3D信息，组织起来以支持精确的计算和模拟。这种详细程度对于实现AV的精确定位、路径规划和决策至关重要。
Semantic Representation
HD地图的语义表示建立在几何和拓扑表示的基础上，为特征提供“语义”。语义表示包括各种2D和3D交通对象，如车道边界、十字路口、人行横道、停车位、停车标志、红绿灯、道路限速、车道信息和道路分类。这种语义理解对于自动驾驶至关重要，在自动驾驶中，车辆需要包围周围环境，以做出智能、安全和有序的决策。语义表示是原始几何数据与智能决策和路径规划所需的更高层次理解之间的桥梁。通过为几何特征分配语义标签和属性，它使自动驾驶汽车能够以更有意义和上下文的方式解释环境。语义表示层的显著示例包括来自HERE的HD地图定位模型层和来自TomTom的RoadDNA层。这些层包含对象级语义特征，有助于使用对象位置和上下文信息准确估计车辆的位置。一般来说，语义表示为几何表示中定义的道路特征和对象分配语义标签和属性，为自动驾驶系统提供更丰富、更全面的环境理解。
Dynamic Elements
动态元素是环境中容易随时间变化的特征、对象或条件。这些功能需要持续监测和更新，为自动驾驶汽车提供最新信息。行人、障碍物和车辆等动态元素需要更新，以便高精地图始终精确无误。HD地图的动态元素层捕捉并表示环境的这些时变方面，这些方面对于安全高效的路径规划和决策至关重要。该层包括交通条件、施工区域、临时道路封闭以及其他道路使用者（如车辆、行人和骑自行车的人）的位置和移动等特征。动态元素的准确表示和频繁更新对于自动驾驶汽车及时预测和应对不断变化的情况至关重要。这些信息可以与高精地图的静态元素相结合，如道路几何形状和交通规则，以实现更全面、更可靠的路径规划和决策。对动态元素的适当管理，将在第4节中深入解释，对于规划自动驾驶汽车在动态和复杂环境中的安全高效路径至关重要。
Feature-Based Map Layers
高精地图在很大程度上依赖于先进的基于特征的地图层来实现准确的定位和导航。这些层使用各种技术来识别和匹配环境中的特征，以确保精确的车辆定位。在基于特征的映射中，一种最先进的方法是视觉位置识别（VPR）。VPR的最新进展，如SeqNet，通过学习强大的视觉特征和采用顺序匹配过程，提高了性能。
另一个重大进展是使用3D激光雷达地图进行车辆定位。SeqPolar方法引入了偏振激光雷达图（PLM）和用于图匹配的二阶隐马尔可夫模型（HMM2），该模型提供了3D激光雷达云的简洁和结构化表示。该方法显著提高了定位精度。
将这些技术集成到高精地图系统中，显著提高了基于特征的地图层的准确性和可靠性，这对于提高自动驾驶汽车的定位和导航能力至关重要，尤其是在动态和复杂环境中。
在自动驾驶行业，除了层次结构，还应该考虑格式。表2总结了主要的高精地图格式及其各自的表示。
一种常见的格式是Lanelet2，它源自liblanelet。它使用基于XML的OSM格式，并将映射组织为三层：物理层（物理元素的点和字符串）、关系层（平面元素、区域和管理元素）和拓扑层。Lanelet2专注于精确的车道级导航和交通管制。
另一种常见的格式是ASAM的OpenDRIVE。它使用XML格式来描述具有三层的道路网络：参考线（道路形状的几何图元）、车道（可行驶路径）和特征（交通信号和标志）。OpenDRIVE强调静态地图功能和道路结构。
百度旗下的Apollo OpenDRIVE使用了经过修改的OpenDRIVE格式。Apollo框架是一个开源项目，由总部位于中国的百度公司开发。Apollo使用点，与使用几何图元的原始OpenDRIVE格式形成对比。
高精地图生成技术
如前几节所述，高精地图需要高精度才能有效实现自动驾驶。最初，高精地图是离线生成的；然而，为了确保它们的相关性和准确性，一旦创建，就必须进行实时更新。本节将讨论生成高精地图的一般步骤。该过程包括从多个来源收集数据、传感器融合、点云配准和特征提取。
Data Collection
高精地图生成过程的第一步是数据收集。一辆装有高精度和校准良好的传感器的车辆被派去调查和收集有关环境的全面数据。测绘车辆配备有移动测绘系统（MMS），该系统通常包括各种传感器。MMS设置中使用的传感器可能会根据映射所需的要求和细节而有所不同。激光雷达是MMS中常用的传感器之一。激光雷达传感器提供环境的高度精确的3D点云数据。除了激光雷达，相机还用于捕捉周围环境的高分辨率图像。这些高分辨率图像提供了有关道路标线、交通标志和其他特征的附加信息。全球导航卫星系统（GNSS）是MMS中的另一种常见传感器。全球导航卫星系统接收器能够同时接收来自多个卫星星座的信号，这提高了精度和精度。GNSS传感器通常与惯性测量单元（IMU）传感器耦合，以帮助估计车辆的运动，包括位置、速度和方向。此外，雷达传感器可用于探测和跟踪移动物体。里程表传感器也可用于测量车轮行驶的距离。根据测绘任务的具体需要，可以配备其他传感器。上述传感器也可以单独购买并配置用于进行数据收集。然而，这种方法可能并不简单，而且也是一项耗时的任务。配备激光雷达、全球导航卫星系统、IMU和相机的MMS如图3所示。
通常，有三种主要方法用于收集高精地图的数据。表3对这些方法进行了比较。第一个涉及从公开的数据集中获取数据；然而，对于自动驾驶来说，这些并没有那么多。毫无疑问，研究人员可以利用少数数据集，如Level5 Lyft数据集、KITTI数据集、nuScenes数据集和Argovere数据集。这些开源数据集包含预先标记的交通数据、3D点云、图像和其他传感器数据，便于实验和地图生成。第二种方法首先包含数据收集。研究人员在关注高精地图中的特定区域或特征时，可能会选择这种方法，尽管由此产生的数据集往往在地理上受到限制。最后，将众包紧急情况作为强有力的第三种选择。该方法利用大量工具的贡献，产生覆盖广泛领域的固定和各种数据集。此外，众包数据的集体性质涵盖了广泛的场景，为AV可能遇到的挑战提供了宝贵的见解。例如，最近的研究提出了一种众包框架，用于持续更新高精地图的点云地图（PCM），集成激光雷达和车辆通信技术，实时检测和整合环境变化。
Sensor Fusion
传感器融合通过组合来自多个传感器的数据来创建可靠准确的高精地图，在高精地图生成中发挥着重要作用。传感器融合集成了来自多个传感器的数据，如激光雷达、相机、IMU、GPS和雷达，以捕捉环境的各个方面。它利用来自各种传感模式的数据来最大限度地减少检测的不确定性，并解决独立运行的单个传感器的局限性。表4基于自动驾驶中要考虑的各种因素，对激光雷达、摄像头和雷达传感器进行了比较。
集成多个传感器以提供冗余并实现更准确的高精地图需要仔细校准传感器。广泛用于自动驾驶的传感器组合基于激光雷达、摄像头和雷达。尽管存在其他传感器集成，但更广泛研究的组合是这三种传感器。这些广泛使用的传感器组合是激光雷达-相机-雷达、激光雷达-相机和相机-雷达。
激光雷达和相机传感器的融合产生了高分辨率的图像和更高的测距精度。激光雷达-相机融合已被证明比单独使用这些传感器表现出更好的性能。用于耦合这两个传感器的一种方法是将来自激光雷达的点云数据投影到从相机传感器获得的图像上。另一种实现激光雷达-相机融合的方法是将相机传感器的2D检测构建到激光雷达点云数据中，如FrustrumNet所示。如图4所示，FrustrumNet的架构涉及将相机的2D对象检测投影到激光雷达点云中的3D FrustrumNet候选者中。这种互补传感器数据的融合利用了两种模式的优势，增强了自动驾驶应用中感知的稳健性和准确性。
如LRVFNet中所述，使用激光雷达-相机-雷达融合涉及使用基于深度多尺度注意力的架构从各种传感器模态（激光雷达、毫米波雷达和视觉传感器）生成不同的特征。这种融合方法有效地集成了来自这些模态的互补信息，以提高目标检测的准确性和鲁棒性。类似地，CLR-BNN中使用的融合机制使用贝叶斯神经网络来融合来自三个传感器的数据。这种方法提高了检测精度，并减少了各种驾驶情况下的不确定性。图5展示了CLR-BNN的高级体系结构。
相机-雷达传感器的集成为AVs提供了显著的优势，因为它结合了来自相机的高分辨率视觉数据，捕捉复杂的环境细节，如颜色、纹理和形状，以及雷达传感器的远程检测能力，即使在具有挑战性的天气条件和低能见度的情况下也能可靠地工作。图6所示的CameraRadarFusionNet（CRF-Net）通过在网络层内集成相机数据和稀疏雷达数据来增强2D对象检测网络，这自主决定了最佳融合水平，在各种数据集上优于纯图像网络。
传感器融合通过早期、中期或后期融合策略集成来自各种传感器的数据。当集成发生时，这些方法会有所不同：在处理之前（早期）、在特征级别（中期）或在决策级别（后期）。图7显示了这三种融合策略的基本工作原理。
用于实现传感器融合策略的最广泛采用的算法包括用于相机数据的对象检测技术，如YOLO和SSD，以及用于处理来自激光雷达或雷达传感器的点云数据的3D对象检测方法，如VoxelNet和PointNet。
地图生成算法
在高精地图生成技术中，本节专门介绍地图生成过程中使用的算法节奏。本节重点介绍用于处理传感器数据和构建环境高精地图的方法和技术。
点云配准方法
算法在将原始传感器数据转换为有意义的地图表示方面发挥着关键作用。在数据收集之后，非常强大的算法对于生成高精地图至关重要。执行称为点云配准的过程，以对齐从数据收集阶段获得的几个重叠和非重叠的点云数据。从不同传感器收集的点云数据需要对齐，以获得环境的全面地图。需要进行的对准可能不一定来自不同的传感器。这意味着我们可以从同一传感器获得不同时间的点云数据，也可以从不同的角度获得数据。因此，该条件还需要点云配准来对齐所获取的点云。
通常，有四种技术用于执行点云配准：基于优化的方法、基于概率的方法、以特征为基础的方法和深度学习技术。表5对这些方法进行了比较和对比。
尽管用于点云配准的算法已经取得了重大进展，但仍存在一些挑战和局限性，阻碍了这些技术的广泛采用。最突出的挑战如下：
- 从传感器收集的点云数据通常包含异常值、噪声和缺失数据，这可能会影响配准过程。
- 点云配准算法通常涉及计算密集型操作，并且需要大量的计算资源，例如内存和处理能力。
- 在点云不重叠或重叠有限的情况下，配准过程很难找到对应关系并可视化环境。
- 传感器的不精确标定也可能被引入配准过程。需要对数据收集中涉及的传感器进行适当校准，以提高准确性。
- 点云中的密度差异可能是由于传感器差异造成的，也可能是场景的不同区域之间存在差异。例如，在点云稀疏的区域中，可能很难找到点之间的对应关系，从而导致点云配准中的错误。
高精地图的特征提取
在点云配准过程之后，特征提取成为生成信息丰富、高质量的高精地图的关键组成部分，以便在各种环境中可靠使用。特征提取包括从传感器数据中识别和提取相关特征，以创建环境的详细表示。特征是指从传感器数据中提取并用于创建周围环境的详细表示的环境的不同元素。这些特征为导航、车辆定位以及AV和系统中的各种其他应用提供了有价值的信息。高精地图中的一些常见特征包括道路和车道标记、道路网络、交通标志、地标和杆状物体。传统上，特征提取是手动完成的，由人工操作员识别和注释传感器数据中感兴趣的特征。这一过程不具有成本效益，而且是一项耗时的任务。最近，机器学习方法，特别是深度学习技术，已被用于从点云数据中自动提取特征。
已经提出了几种深度学习方法来提取特定特征，例如车道标线。LMPNet基于特征金字塔网络（FPN）提出了一种提取图像中车道标记的方法，然后根据位置数据将图像从透视空间投影到三维空间中。其中EL-GAN使用生成反向网络（GANs）进行特征提取。DAGMapper使用有向无环图形模型（DAG）内的推理，集成深度神经网络以获得条件概率，并使用贪婪算法进行图形估计。图9显示了道路网络提取方法。
更新高精地图
Importance of Regular Updates
要确保AV导航准确可靠，需要定期更新高精地图。随着AV在各种环境中导航，道路基础设施的修改、交通模式的变化以及道路封闭、建筑工地和事故等动态事件等变化是不可避免的。定期更新高精地图对于反映这些变化并支持安全高效的导航策略至关重要。
此外，频繁的地图更新在提高路线规划能力的质量方面发挥着至关重要的作用。通过整合有关道路状况、交通模式和潜在中断的最新信息，AV可以动态调整其计划路线，从而对动态事件做出及时响应。这种适应性不仅优化了导航效率，而且通过考虑环境的实时变化，有助于提高安全性。因此，通过定期更新来维护最新的高精地图是自动驾驶汽车运营的一个关键方面，确保导航系统能够获得最准确和最新的信息，从而实现知情决策和无缝适应不断变化的道路网络条件。
Real-Time Data Sources
实时数据源为更新高精地图提供了关键信息。这些来源包括车辆传感器，如摄像头、激光雷达和雷达，它们实时捕捉周围环境的数据。此外，连接的车辆（车对车（V2V））和基础设施（车对基础设施（V2I）），如交通监测系统和道路传感器，有助于实时数据收集。其他来源，如导航应用程序和社交媒体的众包数据，如果来源可靠，可以为交通状况和道路事故提供有价值的见解。
自动更新过程
了确保高精地图的高效和准确更新，已采用自动化流程来简化实时数据流与地图数据库的集成。这些过程利用算法检测变化并将其纳入地图，减少了手动干预的需要，并将错误风险降至最低。近年来，深度学习技术已成为自动化检测要集成到高精地图更新中的变化的强大工具。在一篇综合调查论文[6]中，概述了自动地图更新过程中使用的各种方法，包括基于概率和几何的方法。卡尔曼平滑和Dempster–Shafer的信念理论等技术利用概率模型将不确定性和信念系统纳入更新过程。基于几何的方法依赖于几何计算和分析来检测和整合环境的变化，补充深度学习技术。通过利用这些自动化技术，高精地图可以保持最新信息的更新，以最少的手动工作量反映环境的变化。这种自动化不仅提高了更新过程的效率，还提高了高精地图的整体准确性和可靠性，确保了AV的无缝安全导航。
SLAM算法是高精地图自动更新过程中的另一个关键组成部分。SLAM技术使AV能够生成和维护其环境的地图，同时确定其在映射的环境内的位置。当车辆在动态环境中导航时，这种功能对于实时更新高精地图特别有价值。基于激光雷达的SLAM算法，如LOAM（激光雷达里程计和地图）、LeGO LOAM和SuMa++，利用来自激光雷达传感器的点云数据来同时估计车辆的姿态并创建环境的3D地图。这些算法可以检测周围环境的变化，如新建筑、障碍物或道路变化，并自动将这些更新纳入高精地图。视觉SLAM技术，如ORB-SLAM和DSO（直接稀疏里程计），利用视觉里程计进行定位和映射。通过分析视觉数据和检测环境的变化，这些算法可以用新的或修改的特征更新HD地图，例如道路标记、交通标志或地标。此外，结合来自激光雷达、相机、IMU和其他传感器的数据的多传感器融合方法已被开发用于基于SLAM的高精地图更新。示例包括LIO-SAM、R3 Live、FAST-LIVO、FAST-LIO和FAST-LIO2，它们利用不同传感器模式的互补优势进行稳健和电池电量图更新。通过将SLAM算法集成到自动更新过程中，高精地图可以持续适应环境的动态变化，确保自动驾驶汽车导航的最新可靠信息。
挑战和解决方案
Environmental Challenges
虽然保持高精地图的准确性有助于减轻环境挑战的影响，但保持准确的高精地图并确保其在所有环境条件下可靠运行是一项重大挑战。处理施工区域、在恶劣天气条件下可靠形成以及有效绘制复杂的城市景观需要不断更新和大量预算投资。
Technical Challenges
可普遍扩展的高精地图对于任何城市、地区或道路的高效自动驾驶系统都至关重要。然而，由于不同地区的交通规则、标志和道路几何形状等因素，难以实现可扩展性。需要更有效的映射算法来处理这些差异。此外，高精地图缺乏标准化也是一个令人担忧的问题。不同的公司使用专有格式，这使得数据交换和互操作性具有挑战性。数据收集的复杂性是另一个技术障碍。在收集了数兆字节的数据后，仅需对其进行一小时的预处理就需要强大的计算能力，尤其是在识别和分类相关信息等任务中。最后，以最小的延迟向AV提供更新的地图数据对于安全操作至关重要。这一点在互联网基础设施较差的地区尤为重要，因为网络速度较慢可能会危及安全。
数据隐私和安全问题
在技术和数据驱动的时代，隐私至关重要。对于AD系统，厘米级精度的要求需要记录用户的位置和移动。这些信息可以用来提供服务，如交通拥堵和道路堵塞的实时更新。如果处理不当，这些敏感数据永远不会被恶意利用。安全问题不应掉以轻心；高精地图提供商必须在各个层面全面解决这一问题。
未来方向
传感器技术的进展
尽管未来仍不确定，我们目前使用的技术最终可能会被取代，但现有传感器技术的持续进步，如激光雷达、相机、雷达和IMU，预计将在增强高精地图创建和更新过程的能力方面发挥关键作用。新兴的传感器技术，包括固态激光雷达、高分辨率相机和多模传感器融合系统，为捕捉和处理环境数据提供了更高的准确性、可靠性和成本效益，进一步推动了稳健和最新高精地图的开发。
5G与边缘计算的实时更新集成
5G网络和边缘计算基础设施的集成将促进高精地图数据的实时更新和无缝分发到车辆和其他连接设备。5G网络提供的高带宽和低延迟，加上路边基础设施和车载系统的边缘计算能力，将实现动态地图更新、高效交通管理和增强AV的态势感知。此外，随着5G网络在未来的普及，在网络性能和计算能力的进步的推动下，高精地图系统将受益于增强的稳健性、可靠性和潜在的新功能。
AI在高精地图创建和更新中的应用
人工智能（AI）和机器学习（ML）算法将继续在高精地图生成和更新过程中发挥关键作用。深度学习、强化学习和生成逆向网络（GANs）能够从传感器数据中实现自动特征提取、异常检测、变化检测和预测建模。人工智能驱动的方法简化了地图创建工作流程，提高了准确性，并更有效地适应不断变化的环境。
标准化高精地图生态系统
目前，大多数参与广告的公司都生产其专有的高精地图。然而，行业利益相关者之间的合作，包括汽车制造商、技术公司、政府机构和ASAM OpenDRIVE格式等标准组织，对于标准化高精地图格式、数据交换协议和质量保证流程至关重要。Lanelet2、Apollo（使用修改后的OpenDRIVE格式）和NDS（汽车地图数据的全球标准）代表着实现这一标准化的重要步骤。关键步骤包括促进利益相关者之间的合作，采用OpenDRIVE、Lanelet2和NDS等既定格式以实现兼容性和互操作性，以及开发统一规范。协调一致的标准化工作促进了整个生态系统的无缝数据共享和创新，推动了高精地图创建、更新和各种应用程序利用率的不断提高。这种协作方式促进了统一一致的高精地图基础设施，并加速了先进自动驾驶解决方案的开发和部署，使整个行业受益。这些未来方向代表了高精地图发展和进步的持续趋势和重点领域，有可能在未来几年重塑未来交通、导航和城市流动的格局。
可持续发展的自动驾驶
自动驾驶汽车的发展代表了促进交通可持续性的关键机遇。AVs有潜力通过使用高精地图优化驾驶模式和最大限度地减少能源消耗，从而显著减少温室气体排放。这些地图提供了精确的地理数据，使AV能够高效导航，从而减少燃料使用和排放。研究表明，与传统车辆相比，电动汽车可以减少10-20%的油耗，尤其是在交通拥堵普遍的城市地区。此外，配备高精地图的AV可以通过与基础设施和其他车辆通信来增强交通流量，减少拥堵，改善整体空气质量。
自动驾驶技术还通过促进共享出行服务和潜在的车辆保有量减少来促进可持续性。通过与拼车平台集成，并基于高精地图的实时数据优化路线，AV可以支持向共享出行模式的转变，从而减少道路上的车辆数量，减少城市语音。此外，AV通过利用高精地图进行精确导航和障碍物检测，从而减少交通事故及其相关的环境和经济成本，从而有助于提高安全性。随着城市和交通系统的发展，AV技术与高精地图推动的可持续城市规划举措的融合有望创造更高效、宜居和环保的城市环境。
结论
这项全面的调查强调了高精地图在推动自动驾驶技术进步方面的关键作用。它深入研究了高精地图生成和维护的各个方面，探索了地图层、数据收集方法、传感器融合策略、点云配准技术和特征提取过程的复杂性，这些都是创建详细准确的环境表示所必需的。此外，还强调了定期更新对确保高精地图的流通性和可靠性的重要性。此外，这篇综述解决了高精地图开发和维护中固有的挑战，同时也探索了潜在的解决方案和未来前景，有望提高高精地图在推动自动驾驶系统发展方面的有效性和实用性。
