本文经自动驾驶之心公众号授权转载，转载请联系出处。
写在前面&笔者的个人理解
目前随着深度学习技术的快速蓬勃发展为自动驾驶领域的研发提供了强大的助力。目前的自动驾驶系统由于其方便解耦和可解释性的离散化模块设计使得自动驾驶领域产生了很多令我们兴奋的成绩。自动驾驶系统中的传统方法通常将系统分解为模块化组件，包括定位、感知、跟踪、预测、规划和控制，以实现更好的可解释性和可见性。然而这类系统却存在着一些问题：（1）随着系统复杂度的增加，模块之间的误差积累变得更加显著，存在很大的误差累计效应；（2）下游任务所表现出来的性能与上游模块变得高度相关，从而使得构建统一的数据驱动网络模型框架变得非常困难。
最近，端到端自动驾驶因其简单性而受到欢迎。基于学习架构提出了两条主线。第一种方法以原始传感器数据作为输入，直接输出规划轨迹或控制命令，无需任何视图变换，作为场景理解的中间表示。另外一类算法模型则是建立在BEV空间表示的基础上，充分利用查询来生成中间输出作为生成规划结果的指导。其中一个最显著的优势在于可解释性。
受到端到端自动驾驶工作VAD的启发，本文工作的目标是将逐步预测规划引入基于学习的框架当中。直观地说，预测和规划模块可以建模为运动预测任务，根据给定的历史信息预测未来的路径点。每个时间戳时刻的预测和规划模块的结果高度相互依赖。因此，我们需要迭代和双向地考虑代理和代理之间以及代理和环境之间的相互作用，在给定其他代理观测下实现代理预测期望的最大化。基于此，本文提出了PPAD端到端自动驾驶框架，可以逐步规划自车代理的未来轨迹，在矢量学习框架下基于时间实现双向交互，如下图所示。
提出的PPAD算法模型的概括示意图
论文链接：https://arxiv.org/pdf/2311.08100
官方仓库链接：https://github.com/zlichen/PPAD；
网络模型的整体架构&细节梳理
在详细介绍本文提出的PPAD端到端算法模型细节之前，下图展示了我们提出的PPAD算法的整体网络结构图。
提出的PPAD算法模型的整体网络结构图
通过上图的整体网络结构可以看出，提出的PPAD算法模型主要包括感知Transformer和我们提出的迭代预测规划模块。整体而言，感知Transformer将场景上下文信息编码为BEV空间特征图，并进一步解码为矢量化代理和地图表示。迭代预测规划模块通常由预测和规划两个过程组成。它剖析了自车和其他代理在时间维度上的动态交互。最终，该模块预测代理的运动并规划自车的未来行驶轨迹。
具体而言，对于输入到网络模型中的环视图像特征，我们采用一个共享的图像主干网络来提取每个视角的图像特征。再得到每个视角的图像特征之后，我们采用了BEVFormer中的Encoder模块来得到统一的BEV空间特征。此外，受到端到端自动驾驶框架VAD的启发，我们也通过解码器和地图元素解码器将场景上下文信息完成矢量化的表示，进而得到可学习的代理查询和可学习的地图查询。单独的基于多层感知机的解码器通过采用学习到的查询作为输入，并使用代理的属性和地图属性进行预测得到最终的输出。此外，代理查询将与可学习的运动嵌入相结合，以对代理的各种运动进行建模。具有运动的代理表示为。类似的，自车采用三种方式进行建模，代表直行、左转和右转的高级驾驶命令，表示为。
然后我们采用迭代预测规划模块以交错的方式预测自车和其他代理的未来轨迹。与一次性预测所有轨迹的传统做法不同，我们提出的PPAD算法框架通过迭代代理运动预测和自车规划过程来表示运动规划的每个步骤。借助提出的PPAD框架，我们可以进行深入设计，以精修的方式在场景上下文中执行关键对象的交互过程。
预测和规划的迭代交互
在现实世界中，驾驶交通状况不断变化。驾驶员通过不断推理场景中交通参与者之间的关系来规划和执行他们的决策。规划任务需要自动驾驶系统对场景有很好的理解，并能够解决时空因果因素。因此，我们对提出的PPAD进行了创新，将规划任务分解为代理预测和自车规划过程的多步骤，并最终促进自车和代理的未来轨迹达成共识。提出的PPAD框架将交通交互体现为沿时空的游戏，为自车提供更准确的规划轨迹。具体而言，自车和代理继承了相同的理念，即在每个未来时间戳时刻中根据彼此的运动预测交替优化其运动行为。
预测过程
代理在预测过程中预测其后续的运动，以自车在先前规划过程中的结果输出为条件。具体而言，代理查询的初始状态包括其驾驶意图。然后，它将与从先前规划过程更新的自车查询进行交互，这表明自车当前最新驾驶规划。然后，它将与地图元素交互以选择驾驶路径。最后，它通过与BEV空间特征进行交互来收集详细的几何信息，并得出其精确的下一步运动。
规划过程
我们用来表示历史时期，来代表未来时期。自车的未来轨迹可以表示为。对于每一个代理，其轨迹可以表示为。检测到的地图元素位置可以表示为。
代理交互
地图交互
现有的一些研究工作试图通过简单地应用一次全局级别的交互来总结规划所需的所有地图信息。但他们忽略了不断发展的运动动态的复杂性，高估了自车可以通过与地图信息的单次交互进行长期精确规划。
利用我们提出的PPAD算法框架，我们可以根据自车的最新位置考虑其本地道路状况，从而丰富自车与地图的交互。这样可以更好地识别规划每个步骤所需的有用地图信息。自车查询与地图查询的交互方式与代理的交互方式类似。不同之处在于地图实例在未来的时间步骤中不可移动。多头交叉注意力机制可以将本地和全局地图信息抽象到自车查询中：
分层特征学习
层次结构具有更好的捕捉和识别细粒度模式的能力。对于驾驶场景，驾驶行为基于对全局和局部场景的理解。驾驶往往只关注少数关键物体，这表明了空间局部性或局部注意力。因此，我们设计了分层关键对象注意力来利用由粗糙到精细的场景上下文。具体来说，给定一组距离范围，我们首先找到给定范围内的关键对象。因此，我们应用动态局部注意力，它只考虑局部区域中代理或地图元素之间的相互作用。下面展示的伪代码描述了动态关键对象注意力的实现。
噪声轨迹作为预测
PPAD算法模型将预测和规划过程交错起来，逐步规划自车和代理的轨迹。然后通过模仿学习将专家驾驶知识强化到模型中。在训练过程中，将噪声轨迹作为预测引入PPAD框架。具体来说，我们通过添加噪声来扰乱真值目标自车轨迹的每一步。然后训练自车预测自车的原始下一步路径点偏移，而不管其起始噪声位置受到何种干扰。即使系统从不准确的位置开始，它也会通过与矢量化实例和环境交互来学习预测准确的路径点偏移。这种策略提高了规划性能。
实验结果&评价指标
为了验证我们提出算法模型的有效性，我们在nuScenes数据集上进行了开环实验，相关的实验结果如下表所示。
在nuScenes 数据集上的开环规划结果
通过实验结果可以看出，我们提出的PPAD算法模型大大超越了当前最先进算法的表现性能。特别是对于L2距离指标，在时间范围内可以观察到约20%的持续提升。得益于提出的预测和规划的迭代交互，PPAD算法模型可以帮助避免碰撞，与其他端到端自动驾驶算法模型VAD相比，在碰撞率方面取得了更好的结果。
此外，我们也在Argoverse2数据集上进行了实验进一步公平地比较我们的方法和基线算法模型，相关的实验结果如下表所示。
在Argoverse 数据集上的开环规划结果
通过实验结果也可以看出，我们的方法可以在 L2 距离和碰撞率指标方面始终以明显优势超越基线。
此外，为了展示我们的PPAD整体性能，我们还在下表中提供了传统感知和运动预测任务的规划指标之外的评估结果。我们的 PPAD 在上游感知和预测任务中也取得了令人鼓舞的性能，这表明整个系统是联合优化的。
规划任务以外的任务的结果比较
为了更加直观的展示我们提出算法模型的表现性能，下图是相关的可视化结果。PPAD 可以精确地感知场景，并以合理和多样化的动作预测周围的代理。它还为自身车辆规划了一条平滑而准确的轨迹。
结论
在本文中，我们提出了一种新颖的自动驾驶框架 PPAD。与以前缺乏深入交互建模的方法不同，我们将规划问题提出为自我车辆和代理之间的多步骤预测和规划过程，并且实现了SOTA的效果。
