01 摘要
自动驾驶汽车依靠各种传感器来收集周围环境的信息。车辆的行为是根据环境感知进行规划的，因此出于安全考虑，其可靠性至关重要。有源激光雷达传感器能够创建场景的精确3D表示，使其成为自动驾驶汽车环境感知的宝贵补充。由于光散射和遮挡，激光雷达的性能在雾、雪或雨等恶劣天气条件下会发生变化。这种限制最近促进了大量关于缓解感知性能下降的方法的研究。
本文收集、分析并讨论了基于激光雷达的环境感知中应对不利天气条件的不同方面。并讨论了适当数据的可用性、原始点云处理和去噪、鲁棒感知算法和传感器融合等主题，以缓解不利天气造成的缺陷。此外论文进一步确定了当前文献中最紧迫的差距，并确定了有希望的研究方向。
02 介绍
LiDAR传感器最近在自动驾驶领域越来越受到关注[1]。它提供了稀疏但准确的深度信息，使其成为对相机和雷达等研究更深入的传感器的宝贵补充。激光雷达传感器是一种有源传感器，这意味着它发射被环境反射的光脉冲。然后，传感器捕捉反射光，并根据经过的时间测量环境的距离。除了时间之外，还可以评估其他特征，如光量和信号的延长。在大多数情况下，有机械组件与多个激光二极管相结合，以创建完整场景的稀疏点云[1]。市场上有各种不同的传感器。
激光雷达传感器在恶劣天气条件下存在不同的缺点。首先，传感器冻结或其他机械并发症可能在冻结温度下发生。传感器技术、型号和安装位置等内部和结构因素对劣化程度起着一定作用。此外，不利天气会影响强度值、点数和其他点云特征（见图一）。一般来说，当由于灰尘或恶劣天气而在空气中遇到颗粒物时，发射的光会向后散射或转移。这导致点云中的距离和反射率测量存在噪声，因为一些激光脉冲过早返回传感器或在大气中丢失。在应用场景理解算法时，噪声尤其有害。在这种安全关键的用例中，保持可靠的高预测性能尤为重要。因此，需要有应对策略来最大限度地减少不利天气条件下激光雷达感知性能的下降，或者至少检测传感器在现实世界场景中的局限性。
大多数最先进的算法都依赖于深度学习（DL）算法，该算法依赖大量数据，以导出环境的通用特征。虽然有一系列研究集中在无监督感知上，但最近的大多数工作都需要对原始数据进行相应的标记。这包括用于对象检测的边界框和用于语义分割的逐点类标签。手动标记稀疏和额外噪声的点云不仅困难，而且成本高昂且容易出错。因此，如何用特定于天气的噪声模拟或增强现有点云的问题尤其有趣。
尽管有大量关于分析激光雷达传感器在恶劣天气条件下的性能退化的研究，但缺乏关于改善感知的算法应对策略的全面总结。此外，针对恶劣天气条件下自动驾驶的调查解决了天气引起的传感器退化，但并没有确定激光雷达传感器特有的天气相关问题。本文总结并分析了应对激光雷达感知不利天气条件的各种方法。因此，论文从三个不同的角度阐述了这个主题：
- 数据可用性：用于开发鲁棒激光雷达感知算法的真实世界和合成数据集；
- 点云操作：传感器特定的天气鲁棒性和感知无关的点云处理（例如天气分类、点云去噪）；
- 鲁棒感知：鲁棒感知算法，能够通过融合多个传感器、在训练中进行调整或提高感知模型的总体鲁棒性来处理点云中由天气引起的噪声。
最后对当前技术中缺失的空白以及最有前景的研究方向进行了总结。
03 不利天气数据
要在任何类型的感知任务上训练DL模型，都需要大量的数据。对于仍占主导地位的监督方法，这些数据甚至必须通过自动标记方法或手动方式进行标记。无论哪种方式，获得精确标记的稀疏激光雷达数据都是昂贵和繁琐的，而且当原始点云被天气引起的噪声破坏时，更会受到阻碍。
因此，需要具有高质量标签的有价值的数据集。通常，有三种选择可以获得具有天气特征噪声模式的激光雷达点云：真实世界记录、增强点云和模拟点云。第一个是在恶劣的天气条件下使用带有适当传感器设置的测试车生成的。后一种方法需要物理模型或基于DL的方法来创建部分或整个点云。
真实世界数据集
用于激光雷达感知基准的大多数现有数据集都是在有利的天气条件下记录的。为了在现实世界中使用开发的感知算法，底层数据集必须反映所有天气条件。除了晴朗的天气条件外，还有一些广泛的数据集明确包括雨、雪和雾。
表I显示了用于研究恶劣天气条件下激光雷达感知的公开可用数据集的概述。数据集是在不同的条件下记录的，并且大小差异很大。其中大多数实际上是在真实世界的驾驶场景中记录的，而其中两个（部分）来自气象室。气象室具有完全控制天气条件和周围环境的优势，即在障碍物方面。尽管如此，它们并不能充分反映现实世界的情况。
此外，每个数据集都使用不同的传感器设置。[27]专门针对恶劣天气条件下的激光雷达制造商和型号进行基准测试。除了激光雷达传感器，所有数据集都提供RGB摄像机记录，有些数据集甚至包括雷达、立体声，事件、门控或红外摄像机。
这些数据集旨在解决自动驾驶汽车的不同感知和驾驶任务。几乎所有传感器设置（除[21]外）都包括定位和运动传感器，即GPS/GNSS和IMU。因此，它们适合于开发和测试SLAM算法。除了仅提供运动GT的[29]之外，所有数据集都提供了用于目标检测或逐点分割的标签。
最后，所有数据集都包括一些关于天气状况的元数据。这对于在恶劣天气条件下开发几乎任何类型的感知模型都至关重要。至少对于彻底的验证来说，了解周围天气条件的强度和性质是至关重要的。只有一个数据集提供逐点天气标签，即路边的降雪和积雪。
由真实世界记录组成的数据集的优点是高度真实。缺点是记录场景的标签仅部分可用（逐点），或者，如果数据记录在气象室中，则仅限于更复杂的现实世界场景。在不利的天气条件下手动逐点标记激光雷达点云尤其具有挑战性，因为在许多情况下，将杂波或噪声与实际反射信号区分开来是不切实际的。
天气增强
将不利天气影响扩展到现有数据集提供了一种生成大量数据的有效方法，而不是乏味地收集和标记不同不利天气影响的新数据集。通常，基于物理或经验的增强模型被用来将某些不利天气影响增强为晴朗的天气点云，无论它们是来自真实世界的驱动还是来自等模拟。这允许获得被天气特定噪声破坏的场景，同时保留数据集中已经存在的所有有趣的边缘情况和注释。
增强方法定义了在不利天气条件下从晴朗天气点到相应点的映射。为此，经常参考[32]中的理论激光雷达模型，该模型对不利的雨、雾和雪的影响进行建模。它通过将发射的脉冲与场景响应卷积，将接收到的强度分布建模为线性系统。场景响应对固体物体上的反射以及由于恶劣天气造成的背散射和衰减进行建模。
[9]中介绍了一种更实用的雾增强，可以直接应用于点云。它基于最大视距，该视距是测量强度、激光雷达参数和雾中光学能见度的函数。如果晴朗天气点的距离低于最大观看距离，则会出现随机散射点，或者该点以一定的概率丢失。该模型通过将能见度参数和散射概率转化为降雨率来适应降雨。
然而，这些模型忽略了所考虑的用于增雨的发射激光雷达脉冲的光束发散。这里，计算了模拟光束发散的超采样光束与球形雨滴的交点数量。如果交叉点的数量超过某个阈值，则会添加一个散射点。[35]中的扩充方法扩展了这种方法，从而可能出现丢失点。此外，它还适用于雪和雾。
[36]中介绍了雾、雪和雨的另一种增强。该模型在功率域中运行，并且不依赖于例如像前面讨论的方法那样计算交叉点。此外，使用计算上更有效的散射点距离采样策略来模拟光束发散。通常，该模型首先将固体物体和随机采样散射体反射的衰减功率与距离相关的噪声阈值进行比较。如果散射点的功率超过实体对象的功率，则会添加散射点。如果某个点低于与距离相关的噪声阈值，则该点将丢失。
除了基于物理的模型外，经验模型也可以用于增强。在[38]中可以找到其他车辆卷起的喷雾的经验增强方法。这个模型的中心是从专门的实验中观察到的喷雾被组织成簇。[39]中提出了另一种数据驱动方法，该方法依赖于Waymo数据集的喷雾场景。在[40]中，提出了一种计算成本更高的喷雾增强方法，该方法依赖于带有物理引擎的渲染器。
最后，基于DL的方法可以应用于不利天气增强。在[41]中，受图像到图像翻译的启发，提出了一种基于生成对抗性网络（GAN）的方法，该方法能够将点云从晴天转换为雾天或雨天。他们将他们的结果与来自气象室的真实雾点云和雨点云进行了定性比较。
然而，评估增强方法的质量和真实程度是具有挑战性的。一些作者使用气象室或其他受控环境，以便与现实世界的天气影响进行比较。此外，如果增强方法有助于在现实世界不利天气条件下的感知性能，则通常认为它是现实的。
04 点云处理与去噪
本节介绍了如何处理不利天气条件的方法，这些方法是基于传感器技术或点云的，即独立于实际感知任务。因此，论文分析了一般传感器相关的天气鲁棒性，以及根据天气条件估计性能退化程度的可能性。此外，有大量研究使用经典去噪方法和DL从激光雷达点云中去除天气引起的噪声。
传感器相关天气鲁棒性
根据技术、特性和配置，不同的激光雷达模型或多或少会受到天气条件的影响。由于眼睛安全的限制和对环境光的抑制，激光雷达传感器的两种工作波长占主导地位：905nm和1550nm，其中905nm是大多数可用的传感器。这在一定程度上是由于在不利天气条件下具有更好的性能，即雨滴的吸收率较低，在雪中具有更好的反射率，在雾中具有较小的退化。关于恶劣天气条件下激光雷达技术和波长的全面讨论，我们参考[17]。
此外，还对恶劣天气条件下的全波形激光雷达（FWL）性能进行了研究。FWL不仅测量一个或两个回波，而且测量所有较弱的回波，有效地测量了更多的噪声，但也收集了更多关于周围环境的信息。尽管FWL需要很高的计算资源，但它已被证明对分析周围介质很有用，这可以为理解甚至不断变化的条件并动态调整条件奠定基础。
传感器退化估计和天气分类
由于激光雷达传感器在不同的天气条件下退化不同，估计传感器退化程度是处理损坏的激光雷达点云的第一步。在开发更好地识别传感极限的方法以防止错误检测传播到下游任务中时，已经取得了进展。
首先，一些关于表征传感器在各种天气条件下退化的研究为传感器在恶劣天气条件下的校准和进一步发展奠定了坚实的基础，尽管尚未对其天气分类能力进行评估。
[33]中介绍了第一项实际模拟降雨对激光雷达传感器影响的工作。作者提出了一个从激光雷达方程导出的数学模型，并允许基于降雨率和最大传感范围进行性能退化估计。
在随后的研究工作中，对恶劣天气条件下传感器退化的估计被公式化为异常检测任务和验证任务。前者采用了基于DL的模型，该模型旨在学习一种潜在的表示，该表示将清晰的LiDAR扫描与雨天的激光雷达扫描区分开来，从而能够量化性能下降的程度。后一种方法建议使用强化学习（RL）模型来确定对象检测和跟踪模型中的失败。
虽然上述方法旨在量化传感器性能本身的下降，但另一系列研究侧重于对周围天气条件（即晴朗、下雨、雾和雪）的分类。在基于激光雷达点云手工制作的特征3的经典机器学习方法（k-最近邻和支持向量机）的帮助下，取得了令人满意的结果：[10]提出了一个特征集来进行逐点天气分类。
[51]开发了降雨率逐帧回归的概率模型。在专家的配合下，他们从激光雷达点云中准确地推断出了降雨率。
应该注意的是，大多数方法都是根据气象室收集的数据进行训练和评估的。虽然仔细控制天气条件的能力允许高再现性，但数据通常不能准确反映真实世界的情况。为了评估每种方法的分类能力，有必要对真实世界的数据进行彻底的研究[50]。
点云去噪
天气效应以特定的噪声模式反映在激光雷达点云中。如第一节所述，它们可能会影响点云中的测量次数和最大传感范围等因素。可以通过各种方法对点云进行去噪，以重建清晰的测量结果，而不是用特定于天气的噪声来增强点云。除了经典的滤波算法外，最近还出现了一些基于DL的去噪工作。
除了在去噪点云上应用物体检测等感知任务外，精度（保留环境特征）和召回率（滤除天气引起的噪声）等指标对于评估经典滤波方法的性能至关重要。为了计算这些指标，需要逐点标记，以说明雪粒等天气类别。
半径异常值去除（ROR）基于任何点的邻域过滤掉噪声。这对于激光雷达测量远处物体来说就成了问题，因为点云变得自然稀疏。先进的方法通过根据感测距离动态调整阈值（动态半径异常值去除（DROR））或考虑到点云中每个点的邻居的平均距离（统计异常值去除）来解决这一问题。这两种方法都表现出很高的运行时间，使得它们几乎不适用于自动驾驶。快速聚类统计异常值去除（FCSOR）和动态统计异常值消除（DSOR）都提出了降低计算负载的方法，同时仍然从点云中去除天气伪影。
路边激光雷达的去噪方法依赖于历史数据的背景模型（可用于固定路边传感器），结合经典去噪中使用的基本原理来识别动态点。[57]在强度阈值的帮助下从实际物体中过滤天气噪声。不幸的是，这并不容易适用于安装在移动车辆上的激光雷达传感器。
与经典的去噪方法相反，基于DL的激光雷达点云去噪之所以流行，是因为该模型能够直接理解天气噪声的潜在结构：首先，基于卷积神经网络（CNN）的模型已被用于有效的天气去噪。使用时间数据进行区分进一步利用了特定于天气的噪声去除，因为自然地，天气噪声的变化频率高于场景背景甚至场景内的对象。基于CNN的方法（尤其是基于体素的方法）在噪声滤波方面优于经典的去噪方法。此外，由于GPU计算速度更快，它们的推理时间更低。
除了有监督的CNN方法之外，像CycleGANs这样的无监督方法能够将噪声点云输入转化为清晰的激光雷达扫描。然而，它们的性质仍然很嘈杂，由此产生的点云很难就其真实性进行验证。
05 鲁棒的激光雷达感知
尽管在减少不利天气带来的领域转移方面有着很好的努力，但有多种可能的方法可以使激光雷达感知模型在不利天气条件下更加稳健，而与数据的质量和噪声水平无关。这里有三个工作流程：利用传感器融合，通过使用天气特定噪声的数据增强来增强训练，或者针对域偏移的模型鲁棒性的一般方法来补偿性能下降。应该注意的是，除了物体检测之外，传感器融合方法是唯一解决多种感知任务的方法。据论文所知，没有关于语义分割等其他感知任务的文献。
利用传感器融合应对恶劣天气
通常可以说，自动驾驶传感器组中的每个传感器都有其优点和缺点。这种传感器组中最常见的传感器是RGB相机、雷达和激光雷达。如第一节所述，当遇到灰尘、雨、雪或雾等可见的空气传播颗粒时，激光雷达的感知会受到影响。相机对强光入射和光晕效果更敏感。反过来，雷达也不受两者的影响，但缺乏检测静态物体和精细结构的能力。因此，它迫使自己融合不同的传感器，以便在不同的环境条件下减轻它们各自的缺点，并促进鲁棒的感知。
早期关于传感器融合以对抗天气对传感器感知的不利影响的工作集中于开发稳健的数据关联框架。最近的研究流利用基于DL的方法进行鲁棒的多模态感知，并主要解决早期与晚期融合的问题，以在恶劣天气条件下实现鲁棒性。
选择前还是后融合似乎取决于传感器的选择、数据表示和预期故障率。假设并非所有融合传感器的退化程度相同，并且其中至少一个传感器功能齐全，则后期融合似乎优于早期融合。在这种情况下，该模型能够独立处理传感器流，它能够依赖于工作的传感器而忽略故障的传感器。相反，雷达和激光雷达深度图的早期融合有助于过滤错误检测，以实现干净的扫描。
数据表示是另一个部分有助于回答早期与晚期融合问题的因素。激光雷达传感器的鸟瞰图（BEV）通过提高obejct的可分辨性，极大地促进了物体检测。因此，当激光雷达数据被破坏时，任何已经学会依赖于各自激光雷达特征的模型都将遭受性能损失。利用教师-学生网络成功解决了传感器的完全故障。
最终，一些传感器融合方法依赖于将早期和晚期融合结合到一个模型中，并利用时间数据和基于区域的融合[72]或注意力图[73]等概念。另一种可能性是[21]中提出的自适应、熵控制的融合。
除了预测性能外，在开发新的感知方法时还应考虑模型运行时间。[68]引入了一种新的度量，该度量将可驱动空间分割的预测性能与推理运行时相结合。有趣的是，仅使用激光雷达的模型在这一指标上得分最高。
毫无疑问，在恶劣的天气条件下用未受影响的传感器补偿传感器故障是很方便的。然而，通过努力改善在恶劣天气条件下仅使用激光雷达的感知，自动驾驶等安全关键应用可以变得更加可靠。
通过数据增强增强训练
虽然数据增强被广泛用于DL训练策略，但特别具有挑战性的是特定天气噪声的产生。第二节介绍了在激光雷达点云中生成特定天气噪声的各种方法。在感知模型的训练过程中利用数据增强是点云去噪的径向方法，这已经在三中进行了讨论。目的不是去除天气引起的噪音，而是让模型习惯于这种确切的噪音。已经证明，就鲁棒性而言，天气增强比去噪更有效，这为未来应该强调哪些研究方向提供了宝贵的提示。
一般来说，一些工作通过在任务3D目标检测中评估这些数据来证明这种数据增强在训练时的好处。
许多工作都涉及在恶劣天气条件下为鲁棒的激光雷达感知选择最佳特征提取器的问题。基于点的和体素化方法似乎不太受增强天气效应的影响，至少在物体检测方面是这样，这表明通过仔细选择感知模型可以实现一定的鲁棒性。此外，模型体系结构和恶劣天气导致的点云损坏之间似乎存在交互作用。[4]中提出的湿地扩展只帮助了一些模型，表明射线散射引起的检测问题或多或少是严重的，这取决于模型架构。
此外，物体的大小和形状似乎在任何检测模型的性能退化程度中发挥作用。这意味着，较小和代表性不足的类别（如STF数据集中的骑自行车的类别）比代表性较好的类别，如汽车和行人，更容易受到天气增强的影响。因此，即使在不利的天气条件下，（清晰的）训练集中的注释对象的数量也是对象检测性能的良好指标。这表明，天气增强训练不仅有助于在晴朗的天气条件下提高检测性能，有趣的是，它似乎也起到了相反的作用。
鲁棒感知算法
虽然具有互补传感器的融合方法可以缓解每个传感器因天气原因导致的性能下降，但它们只能作为解决当前实际问题的方法。天气条件的变化可以被视为领域转移的一种特殊情况，因此，为弥合领域差距而开发的方法可以应用于天气对天气（如晴雨/雾/雪）的领域转移。[77]全面概述了当前技术领域的自适应方法，但它们主要解决与不同传感器分辨率或可用数据及其标签相关的问题。
在[78]中，作者提出了数据集到数据集的域转移，这间接包括天气变化。他们采用师生设置进行物体检测，其中教师接受Waymo Open（晴天）的培训，为部分Waymo Open和部分Kirkland（雨天）生成标签，学生接受所有标签的培训并应用于Kirkland。有趣的是，学生们似乎能更好地概括到目标领域，这表明他们能够应对恶劣的天气。然而，应该注意的是，领域差距并不局限于天气条件之间的变化，传感器分辨率和标签策略等其他因素可能会掩盖天气造成的差距。
[79]的作者提出了一种鲁棒的目标检测流水线，包括注意力机制和全局上下文特征提取，使模型能够忽略天气引起的噪声，同时理解整个场景。虽然他们的方法不能同时在两个域（KITTI、晴天和CADC、雨天）上表现良好，但基于最大差异损失的联合训练产生了有希望的结果，并在源域和目标域上都表现出了高性能。在这里，同样不清楚模型的哪些元素归因于天气条件本身的变化，因为数据集到数据集的变化似乎非常强烈。
[80]专注于缓解RGB相机和激光雷达因天气原因导致的传感器退化。尽管他们利用传感器融合（源自[21]中提出的熵融合）以及两个传感器的数据增强，但他们的工作有力地促进了利用一组方法来弥合与多个未知目标域之间的差距，以进行目标检测。他们通过引入领域鉴别器和通过预训练策略进行自我监督学习来实现这一点。他们的结果表明，他们的多模态、多目标领域自适应方法能够很好地推广到例如雾场景。
06 讨论和结论
在这篇调查论文中，本文概述了在恶劣天气条件下基于激光雷达的自动驾驶环境感知的当前研究方向。论文深入分析和讨论了用于深度学习算法的训练数据的可用性、用于检测天气条件和对激光雷达扫描去噪的感知无关点云处理技术，以及鲁棒激光雷达感知的最新方法。在下文将总结最有前景的研究方向，并找出剩余的差距。
不利天气数据：有几个自动驾驶数据集，包括激光雷达传感器，同时涵盖不利天气条件。它们中的大多数都提供对象标签，但只有一个具有逐点类标签。显然，需要合适的真实世界数据集来训练和验证越来越多的基于深度学习的激光雷达感知算法。一些工作采用特定于天气的数据增强来模拟不利的天气影响，然而，缺少一种评估生成的增强的真实性的方法。
点云处理和去噪：不同的激光雷达技术对恶劣天气条件的反应不同。虽然对传感器在恶劣天气条件下的退化进行了深入研究，但对感知算法的影响缺乏系统分析。在这里，传感器退化估计的方法将是有用的。此外，目前正在对云去噪进行研究，但现有的统计方法已被证明不如在训练中使用天气增强方法有效。现代方法，如基于CNN或GAN的方法，可能会弥合这一差距。
鲁棒激光雷达感知：大量研究集中在借助传感器融合缓解传感器退化。虽然这产生了令人信服的结果，但在恶劣天气条件下改善仅使用激光雷达的感知能力不应被忽视。复杂的域自适应方法（如异常检测或不确定性建模）可能有助于解决这一问题。从不同的角度观察激光雷达点云中天气引起的噪声的存在，可能会开启弥合不利天气条件带来的领域差距的新研究流。调查这一领域差距的质量将提示通用领域适应方法的潜力。
