arXiv上2021年12月21日上传的自动驾驶可解释AI的综述："Explainable Artificial Intelligence for Autonomous Driving: A Comprehensive Overview and Field Guide for Future Research Directions"，作者来自加拿大Alberta大学和华为研发。
在过去十年中，自动驾驶在研发方面取得了重大的里程碑。人们有兴趣在道路上部署自行操作车辆，这预示着交通系统将更加安全和生态友好。随着计算能力强大的人工智能（AI）技术的兴起，自动驾驶车辆可以高精度地感知环境，做出安全的实时决策，在没有人为干预的情况下运行更加可靠。
然而，在目前的技术水平下，自动驾驶汽车中的智能决策通常不为人类所理解，这种缺陷阻碍了这项技术被社会接受。因此，除了做出安全的实时决策外，自动驾驶汽车的AI系统还需要解释这些决策是如何构建的，以便在多个政府管辖区内符合监管要求。
该研究为开发自动驾驶车辆的可解释人工智能（XAI）方法提供了全面的信息。首先，全面概述了目前最先进的自动驾驶汽车行业在可解释方面存在的差距。然后，展示该领域中可解释和可解释受众的分类。第三，提出了一个端到端自动驾驶系统体系结构的框架，并论证了XAI在调试和调控此类系统中的作用。最后，作为未来的研究方向，提供自主驾驶XAI方法的实地指南，提高操作安全性和透明度，公开获得监管机构、制造商和所有密切参与者的批准。
自动驾驶可解释的需求源自各种问题和关注点。首先，自动驾驶车辆参与发生的道路事故，是一个基本的实际问题。由于粗心和危险驾驶会直接影响乘客和旁观者的安全，人们通常需要确认安全运输系统。此外，对行为或决策来由的理解是人类思维的自然要求。有专家说，“如果用户不信任模型或预测，他们将不会使用它。”在案例研究中，经验证明提供可解释和可察觉的系统可以显著提高用户对系统的信任。特别是，如果没有向参与者提供可靠的解释，频繁发生的故障可能会严重损害个人和公众对智能系统的信任。一旦对智能系统的信任被破坏，重新获得信任可能会是一项艰巨的任务。因此，人类自然希望了解特定场景中汽车的关键决策，以建立对汽车的信任。如果汽车智能决策的背后有信任，那么将进一步支持另一个积极的组件，透明度。一旦提供了透明度，就达到了另一项要求，即可依赖（accountability ），这与该系统的决定和行动是否符合管辖条例和标准有关。最后，这些积极因素促成公平性，对自主系统的决定性行动进行道德分析、支持和因果论证。这些组件及其相互关系可被视为实现自动驾驶车辆获得大众认可的基本因素。
根据自动驾驶中用户的身份和背景知识，可解释的细节、类型和表达方式各不相同。例如，一个对自动驾驶车辆如何运行缺乏专业知识的用户，可能会对相关决策/结果的简单解释感到满意。然而，自主系统工程师需要更多信息的解释，了解汽车当前的可操作性，并根据需要适当地“调试”现有系统。因此，解释受众的领域知识和知识特点对于提供恰当的、有充分信息的和可理解的解释至关重要。
以下就是一些可解释性的影响因素：
- cause filters
- content type
- model
- system type
- interactivity
- concrete scope
下面是自动驾驶各个模块的可解释性方法：
1 感知
正如准确感知环境是自主驾驶的基本要求一样，提供自主行动决策的基本解释对于理解场景导航和驾驶行为也至关重要，特别是在关键场景中。因此，在自动驾驶车辆的感知任务中需要提供可解释性方法。
一些研究用视觉注意的反省（introspective ）文本描述寻求因果（post-hoc）解释，一些研究把解释作为涉及因果推理的人类行为描述，另一些研究将重点放在目标诱导（object-induced）的行为决策。
另一种基于感知的解释生成方法是理解卷积神经网络（CNN）的结果。这种方法背后的主要思想是测量和显示从神经网络输出层反向传播（BP）到输入层的梯度。基于梯度的解释方法示例包括Class Activation Map（CAM），其增强变型，如 Guided Grad-CAM、Grad-CAM、Grad-CAM++、Smooth Grad CAM++，以及基于反向传播的方法，如引导（guided）反向传播、分层相关（layered relevance ）传播，VisualBackProp和DeepLift。此外，基于启发式的Deep Visual Explanations（DVE）为深度CNN的预测提供了合理的理由。基于计算机视觉的可解释自动驾驶系统综述，见valeo公司的文章“Explainability of vision-based autonomous driving systems: Review and challenges”。
2 定位
由于自动车辆的实时决策需要准确地感知道路位置，因此了解如何从不同导航系统和传感器获取车辆位置也至关重要。这就是定位还需要解释性的原因。需要了解自动驾驶车辆的诱发位置，特别是当来自GPS或其他传感器的信号不精确时候。这种不可靠的通信通道可能因此迫使自动驾驶汽车做出错误的高风险决策。因此，调试导航系统和相关传感器，有助于阻止不准确的信号，并为自动驾驶汽车的纵向-横向正确定位提供可靠的通信渠道。
3 规划
规划决策的可解释性综述见论文”The emerging landscape of explainable automated planning & decision making“，来自IBM和Arizona州立大学。
之前的一个Explainable AI Planning (XAIP) 研讨会，其议程特别说到”虽然XAI主要关注基于黑盒学习的方法，但基于模型的方法非常适合——可以说更适合——作为可解释性，XAIP可以帮助用户在复杂决策过程与AI技术交互，发挥重要作用。“
摘自该综述，其可解释性方法如下分类：
- 基于算法 Algorithm-based explanations
- 基于模型 Model-Based Explanations
- 推理调和 Inference Reconciliation
- 模型调和 Model Reconciliation （user mental model）
- 基于规划 Plan-based explanations
可解释性的性质包括：
- Social
- Contrastive
- Selective
- Local
- Global
- Abstraction
- User Study
4 控制
由于车辆控制最终反映了驾驶系统的高级决策，用户可能需要及时解释实时自动行动选择的基本原理。这一需求将可解释性的本质引入到自动化车辆的控制系统中。车内界面、仪表板和其他用户友好功能，可帮助用户提出“为什么”问题（例如，“为什么停在右侧？”），或对比问题（例如，“为什么选择这条路线而不是另一条路线？”），反事实（counterfactual ）问题（例如，“如果选择了该路线而不是当前路线，怎么办？”）和描述性问题（例如，“十分钟后会在哪里？”）。
另外，作者提出一个XAI框架，集成了自主控制、可解释性和法规遵从性。如图所示：包括可调节的自动驾驶三个组成部分，一个端到端自动控制系统组件（eeC，把感知的环境映射到车辆的动作），一个安全法规遵从性组件（srC，代表监管机构职能，主要职责之一是验证eeC与自动车辆动作任意组合的安全性。主要通过软件模拟仿真和实际驾驶验证），和一个XAI组件（XAI指导的自主驾驶应该在最高层反映出一种学习到的软件体系结构和监管原则）。
自动驾驶XAI，就是定义为AI驱动方法的概要（compendium）：1）确保车辆实时决策的可接受安全，2）提供关键交通场景中动作决策的可解释性和透明度，以及3）遵守监管机构制定的所有交通规则。
最后，作者提出一个现场指导：引导XAI追随自动驾驶的目标，其包括以下四部分
- 可解释的视觉（包括因果解释和基于计算的并发解释）
描述自然语言的历史以及所采取的每个相关行动，有助于给关键交通场景提供可靠的因果解释。另外，基于生成可解释模型的并发解释可大大有助于事故预防。比如：假设自动驾驶车辆有车内人员（即后补驾驶员或乘客）；车辆提供一个紧急使用的控制（即停止）按钮；车内界面显示前方没有人横穿道路并继续行驶；但是前面发现有一个人在路上（即视觉系统故障）；然后，车内人员及时发现这种异常情况，使用紧急按钮减速和/或停车，防止事故发生。这个简单的例子表明，并发解释的概念在自动驾驶中具有潜在的用途，并为车辆的安全导航提供了机会。
- 基于强化学习（RL）的可解释状态-动作映射（自动驾驶基于MDP的轨迹串行决策）
如图是基于模型和无模型这两种RL在可解释性方面的比较：除了模仿学习，这两种RL的比较可以看到，基于模型RL的优点是，智体首先学习环境的模型，并根据环境的动态性调整其学习策略。这种有针对性的探索（exploration ）通常被称为规划，从本质上说可以解释学习过程。
RL中的规划思想对于正确决策至关重要，以Dyna体系结构为例：Dyna及其变型，即线性Dyna体系结构，与世界交互学习最优策略的同时，也学习世界模型。Dyna的规划过程从最初提供的假想（imaginary ）状态创建预测的未来轨迹。基于这种结构，模型投影生成最优行为，同时生成预测状态和预测奖励。最后两个组件可以被可视化和分析，作为解释的基础，帮助理解为什么智体喜欢在特定的时刻选择特定的动作。由于自动驾驶的每个（关键）动作可能需要直观的解释，因此，Dyna体系结构和基于模型的RL，通常可以通过其可解释性功能提供巨大的益处。
- 知识表征的预测知识（在RL框架下）
通用价值函数（GVF），是表示预测知识（predictive knowledge）的初步技术。根据定义，GVFs旨在获取RL智体实际观察结果的长时预测总结。例如，自主驾驶中的RL智体可能会提出问题，并用GVF表达相应的答案。例子有“在下一个十字路口不遇到红灯的可能性有多大？”或者“根据目前的驾驶策略，到达目的地预计时间是多少？”
- 在动作中包含常识知识（包括时域问题和问题驱动的软件分层结构）
分层软件架构是一种支持可解释自主驾驶决策系统的合适结构。这样的结构直接反映了人类司机开车时的想法，例如，“交通灯会很快从绿色变为黄色吗？”或者“前面的行人打算过马路吗？”或者“前面的车会加速吗？”诸如这样一些代表性的问题，反映了在运动过程中与驾驶相关的考量。根据这种直觉，可以说，自动驾驶汽车的分层软件系统是问题驱动型。
可解释性软件系统应反映所采取时域行为的时域问题。与这种体系结构相对应而合适的RL方法是选项（options ）的概念。options 是动作的泛化，在这些动作中，RL智体有一个执行一个动作带终端状态的策略。最近提出的选项-批评（option-critic）架构是基于options 的概念。该体系结构可以学习内部策略和options 的终端状态，在Arcade learning Environment（ALE）中的options 端到端学习，证明是有效的。选项-批评架构的固有结构，使其适合于自主车辆学习系统的进一步开发。
驾驶相关问题通常是暂时性的，几秒钟后就可以为后续行动生成新问题。驾驶决策的时间敏感性实时动态变化，使车辆面临不同程度的风险。当然，风险较低的动作是首选。然而，在时间和计算方面，我们需要有效地探索，评估和相应动作相关的风险水平：仅关注增加RL奖励，长时有可能不会带来预期动作。
在传统的RL中，只考虑奖励而不考虑风险作为衡量标准，并不总是自动化系统的完美决策，并且RL智体可能无法通过这种探索找到最优策略。相比之下，将不同级别的风险与相应的动作结合起来，有助于通过不同的过渡（transition）和奖励，在环境中动态发现最优策略。因此，构建良好的问题层次结构和评估与适当动作相关的风险水平，在关键交通环境中有助于对智能车辆做出及时、直观、丰富且可信赖的解释。
