随着越来越多的自动驾驶汽车难题出现，挑战的难度越来越大。
汽车工业正在将传感器融合作为应对日益增加的自动驾驶汽车所需的复杂性和可靠性的最佳选择，为汽车内部如何管理和利用来自多个设备的数据的另一转变奠定了基础。
事实证明，向更大的自治迈进比起初所期望的要复杂得多。不仅要求在长寿命内具有零磁场故障的高可靠性，这些车辆还必须在所有天气和驾驶条件下都安全，有保障并充分了解其周围环境，且他们需要以可承受的成本进行此操作。
因此，将传感器融合作为前进的方向成为了人们关注的焦点，它将多种多样且互补的传感方式融合在一起。
Synopsys的首席研发工程师Pieter van der Wolf说：“如果更仔细地研究ADAS以及它如何适合汽车，我们会发现许多子系统用于许多不同的功能。像雷达，激光雷达和摄像头这样的不同技术都在单个汽车上使用，例如，用于巡航控制的远程雷达，检测其他交通的短程雷达以及所有雷达和基于摄像头的子系统各种其他功能。由于汽车中有很多子系统，因此降低组件成本非常重要。”
传感器融合，来源：Synopsys
每种传感器模式都基于不同的物理原理，不同的目标和不同的模式。它们都有不同的目的。其中一些重叠，但是它们都需要分别运行以及一起运行。
安森美半导体全球汽车战略和业务发展副总裁约瑟夫·诺塔罗说：“雷达用于在相当远的距离上检测，定位和跟踪物体。激光雷达使用光来测量范围（可变距离），以生成其周围区域的3D图像。视觉传感器捕获穿过镜头的光子以生成“图像”，该图像不仅可以帮助检测，而且可以识别物体，交通标志和行人。实时操作对于AV / ADAS系统至关重要，因此主要挑战之一是每个传感器捕获的数据的“同步”以提取准确和相关的信息。每个传感器用来捕获信息的技术是不同的，因此必须深入了解每种模式的工作方式，以有效地“融合”这些多样化的数据集。”
汽车行业在定义电气/电子（E / E）体系结构方面发生了重大变化。最初的想法是将超级计算机放在汽车中间，侧面装有哑传感器。出于多种原因，事实证明这是不现实的。
Cadence汽车解决方案总监Robert Schweiger表示：“在这种模型中，我们将转移所有数据并在一个地方处理数据。”?人们很快意识到传感器还不在那里，汽车内的接口，网络连接并没有为原始传感器数据传输提供所需的带宽。但是传感器融合的最大挑战是每个人都在做专有的解决方案。这就是为什么我们在生产中甚至还没有达到3级自治的原因。每个人都在寻求不同的解决方案。”
01 迈向对象融合
汽车架构的变化无处不在
“一段时间以来，原始传感器融合是个大问题。”西门子业务Mentor的自主和ADAS SoC高级总监David Fritz说。"我如何将所有这些原始数据引入并集中处理，以便我可以进行比较和对比并进行这种处理？行业的发展方式，我跟索尼谈不重要，跟OEM或一级或二级厂商谈也不重要。他们的方向都是一致的。在过去的一两年里，有一些突破性的进展，使得一种全新的方法，这在工程上更有意义。
直到最近，人们的想法是，所有的东西都是计算复杂的，所有的东西都需要AI,这需要消耗大量的电力。
"当时的想法是有大量的训练，所以用一堆Nvidia GPU或NPU或类似的东西来集中进行训练是有意义的，"Fritz说。"现在发生的情况是，从那些高性能、高功率、高成本的解决方案转向基于Arm的东西，这种东西非常小，非常低的功率，非常具有成本效益，从这些通用的AI推理引擎，转向可以自动生成和定制的东西。现在只要花1.5美元，就可以把所有的功率放在传感器那里。"
有两个原因说明这一点极为重要
"首先，你有机会训练这些AI算法来处理该传感器特有的情况，例如，一个传感器可能会以不同于另一个传感器的方式处理雾气，所以一个可以处理所有可能性的中央计算机是没有意义的。同样，你必须考虑到随着时间的推移，传感器可能会退化的事实。例如，对于不同的相机传感器，这一点可以做得非常不同，你可以训练你的算法来适应这一点。在传感器层面有很多事情，你要在传感器层面进行处理。"Fritz解释说。
"第二，与其在汽车上通过一个大而重的网络发送这些TB的原始数据，因为汽车对振动和其他东西很敏感，为什么我们不直接发送一个32字节的小数据包。这是不是比我们称之为对象的中央计算过程有意义多了？这就变成了对象融合，而不是原始的传感器融合。"
不过，一些OEM厂商认为所有的AI算法都需要来自他们。一些传感器供应商认为他们需要在传感器中投入更多的处理能力。
"在以太网方面，现在我们已经有了1 Gbps的生产速度，但它可能仍然不够快，无法连接高端雷达传感器，"Schweiger说。"所以我们需要到2.5到5，甚至10Gbps.同时，还有新发布的MIPI A-PHY规范版本，它提供了16 Gbps的第一个化身。现在有很多不同的事情在发生，人们需要弄清楚如何利用这些东西，以及到什么时候可以使用。"
另一个趋势是向非常先进的工艺技术发展，因为坐在中央计算单元中的SoC的复杂性是巨大的。"我们看到在硅面积方面的巨大芯片。在处理能力方面，我们看到了巨大的芯片。我们看到在这些芯片上有各种你能想象到的接口。而且我们看到客户正在向7纳米、5纳米发展。"Schweiger说。
02 传感器融合问题
传感器融合中的一个大问题是竞争性的软件架构。这包括从autosar自适应到Autoware等开源软件，特斯拉、Waymo和戴姆勒的专有解决方案；以及Nvidia、英特尔的商业平台。这还只是在架构方面。
此外，还有来自Nvidia、英特尔、伟世通和Aptiv等公司的竞争性硬件平台。这些公司都在打造自己的硬件平台，所以目前没有标准。这些公司都在创建一个平台，并试图赢得客户。Nvidia被认为是领先的，因为它在市场上已经有一段时间了，随着CUDA软件环境的发展，它的平台也在不断发展。但是，虽然它被认为是一个很好的原型系统，但对于生产来说，它可能过于昂贵。对于戴姆勒来说，它承诺明年的S级车将在量产中实现3级自动驾驶，自动驾驶平台的成本可以在一辆昂贵的豪华车上摊销。但对于价格较为适中的车辆来说，情况就不一样了。
再加上专有的人工智能芯片、硬件加速器和接口标准，以及高功耗和传感器的鲁棒性，这些挑战，自动汽车系统开发开始显得更加艰巨。
数据问题
雷达和激光雷达数字信号处理芯片的另一个关键要素是互连，它在芯片内不同处理元件之间来回传送数据。在这里，目前也没有标准，尽管需要标准。
“你可以说这是狂野的西部，但你也可以说有大量的创新在发生，”Arteris IP的营销副总裁Kurt Shuler说。"无论是在传感器芯片上，还是在ADAS大脑芯片上，都是如此。最终，你希望能够用符号术语来解释事情，并有一个中间层，一旦你得到这些数据，数据在传输的过程中是用某种语言，双方都能理解，即使他们来自两个不同的公司。我不知道的是，要把一些东西从更多的原始数据格式转换成有用的东西，需要多少处理。最终，必须要有一个数据格式。"
目前，数据的首要问题是数量，以及数据从更多来源产生的事实。“我们预计未来会发生的是，数据会以更快的速度，更高的分辨率出现，”Rambus公司的研究员和杰出发明家Steven Woo说。“我们还处于早期，有一些传感器具有今天的分辨率。但很多人都在说，如果他们需要做出更好的决策，就需要更精细的分辨率的摄像头，以及激光雷达和类似的东西。而我们需要更快地获得这些数据。”
此外，为了做出好的决策，需要对数据进行分析，有一个时间窗口。“在一个简单的例子中，可能有一个摄像头的视频，只是看了看车前的东西。”Woo说。“有可能事情是在其他物体的后面，被包括在一小部分秒的时间里。所以拥有更大的数据窗口有助于确定这些东西。所以问题其实是我们需要保留多少数据才能做出一个好的决定。而为了做出一个好的决定，数据基本上需要在内存中，你需要能够快速地流过它，以便分析它并找出发生了什么。”
场景问题
在所有这些复杂的情况下，传感器需要正常工作。但一个传感器只有在理想条件下的表现才是好的。
“这意味着在一个晴朗的夏天，它是最好的，”Ansys的杰出工程师Larry Williams说。"然而，即使在理想的条件下，也有一个挑战，那就是如何将雷达、激光雷达、摄像头，也许还包括惯性导航，以及车辆中的某种加速度计的响应结合起来。我们也要研究这些传感器在实际环境中的退化问题。比如说一个雷达看到你周围有多辆车。你要判断它是一辆自行车还是一个骑自行车的人。系统会进行比较，或者包括和融合摄像头的信息，根据是否合理来做出判断。
但是在各种场景下，会发生什么情况呢？比如说，我们都有这样的经历，午后开车回家，西行，太阳就在眼前。阳光也在相机的眼睛里。这样的情况下，摄像头是会退化的，雷达就不一样了。所以好的地方是，有多种方式的感应。一个可以增强另一个降级的时候。
但是在其他情况下，退化的情况会更多，尤其是在雨天。在雨中，整个环境的减弱就更大了。有雨滴积聚在相机的镜头上，这是会让画面变形的。不仅仅是天上的降水，还有另一辆刚开过的车，会把额外的雨滴吹到相机上。我们一直在探索的一件事是，在现实世界的环境中会发生什么，而不是在理想环境中。我们可以刺激理想环境。但随着传感器的退化，会如何降低系统的性能？在传感器的理想环境下已经很难做到了，但在现实世界的条件下就更糟糕了。"这对传感器融合有影响。
“我们对人工智能有很强的依赖性，比如说我们如何在这些车辆中训练一个人工智能引擎来理解它们的环境，我们可以做到。”Williams指出。"但从模拟的角度来看，我们研究的是如何去做这种训练。通常情况下，这是呈现给AI引擎，也就是车辆内部的大脑。它被呈现出很多不同的案例，并努力识别或分类场景中的对象是什么。
这样反复做，最终会训练AI引擎里面的这个机器学习方法里面的神经网络来理解这些东西。你怎么可能训练它呢？你需要在测试环境中做成千上万的案例，用仿真的方式。丰田的CEO说过，非常着名的一句话，就是需要走88亿英里的路，你才能让这些车辆足够安全。要做到88亿英里是不可能的。Waymo和特斯拉和其他公司把所有的数据放在一起，最后一份报告说他们只有大约600万英里的记录。你得做1000倍的数据才行。对于这种工程任务和软件开发来说，了解模拟和分析的力量很重要。"
这不是关于驾驶的里程，而是关于可以捕捉到的场景，这包括了一大类永远不会被驾驶的场景。
“比方说，我正在测试一个道路场景，一边是一辆加油车，另一边是一辆校车，我们撞上了一块冰。”Ansys公司高频高级产品经理Shawn Carpenter说。“我永远不会把它设置成驾驶它。但在模拟中，我可以粉碎我想要的许多位。我可以研究危及生命或破坏财产的场景，而这些场景我永远不会接近于获得任何形式的模拟许可，我可以真正研究主动安全系统的模拟，而这是我在路上永远无法做到的。”
安全问题
安全性是越来越多的自主汽车的另一个方面，也是备受关注的一个方面，因为驱动系统在整个生命周期内必须连接到互联网上进行空中更新。将安全和保障结合起来，这一点就更加迫切需要做好。
“仅仅是安全本身或安全本身就会留下一个很大的漏洞，”Mentor的Fritz说。"当我们理解了可靠性和安全性之后，现在安全领域最大的变化是，人们终于明白了安全不是一个软件问题。真正的安全是一个硬件问题。我们必须能够证明，从重要信息和外界没有物理路径--然而里面运行的软件确实需要以安全的方式访问这些信息。大多数黑客是通过堆栈溢出，或者这样或那样的机制进入的。这些很容易被关闭。但这并不能阻止他们发现一些没有人考虑过的东西，如果外界和这些专有信息之间没有物理上的联系，他们就永远无法获得这些信息。这里需要的是必须发生在SoC本身，以保证外界之间的隔离，在任何密码或密钥或类似的东西需要一个IP安全部分。"
这也是为什么所有的东西都被整合到SoC上的部分原因，但这种整合也带来了自己的问题。"一个习惯于构建100个ECU全部基于微控制器的系统的客户如何向整合系统过渡？"Cadence的Schweiger问道。"SoC提供了很多机会来整合系统，使其更小、更省电、更高性能，所以有所有这些选择。但如果你从未设计过SoC,这意味着你必须建立起真正了解SoC设计或架构的团队。当然，你可以与服务公司合作构建芯片，但需要有人来定义需要什么，必须有一定的理解。这就是为什么会有各种不同的方法。总有车厂聘请芯片设计师做自己的芯片。也有其他的整车厂，可能在这个领域比较不愿意。但到了最后，如果你真的认真对待自动驾驶，很可能需要去做芯片设计。"
他们还需要了解如何在这些芯片中内置安全功能。“我们越来越多地看到，人们已经明白了安全的重要性，安全是其中之一，你不能设计好你的系统，然后试着去改造它，并希望有一个真正安全的环境。因此，当人们现在考虑芯片的架构时，它确实已经成为了一个首要的设计要求，你不仅要考虑你的处理器核心要做什么，你要如何给它提供数据，以及你要如何来回移动这些数据，还要考虑安全的综合观点。”但即使尽了最大的努力，汽车安全总是会受到威胁。
“有时候我们说，我们并不是要模拟这些现实世界中可能发生的事情，因为我们只是认为人们没有技能去做。”Tortuga Logic的高级硬件安全工程师Alric Althoff说。“而如果有人确实有这个技能，那就会让他们更多地处于防御、国防类的思维方式。我从那些正在建立和训练模型来做车辆检测、自由空间检测、边界检测的人那里看到的是，他们的帽子他们不是在谈论明显的事情，比如失去一个传感器，或者失去一个模式，以及模型如何响应。如果你给了模型控制权，而你不了解模型是如何思考这个世界的，你就无法真正提出这些问题。或者我们还没有开发出技术来询问模型关于它的决定。我们怎么知道它将如何回应？这类事情真的很重要。”
这在传感器融合中变得尤为复杂。“在传感器融合中，随着我们涉及更多的模式，保真度不断提高，还有一个传感器独立性的概念，”Althoff说。“我们怎么能让我们融合的传感器突然间完全独立呢？如果突然间它们之间的相互依赖性被如此锁定，你失去了一个，突然间它就会开始在车辆中表现得非常不稳定，这不是好事。我们真的要能够同时容纳融合和独立，并决定临界点在哪里，因为在雨和雾中，视觉传感器会失去敏锐度。激光雷达可能不会。激光雷达知道现在它是唯一的视觉传感器吗？系统知道吗？它是如何反应的？它是否向激光雷达发出信号，告诉它进入超高保真模式或类似的东西？也许像备胎一样：它不可能一直这样运行。”
这是物理方面的问题。在车内，数字硬件需要保护和防篡改。"插入车辆的CAN总线，只需闪现固件就可以轻松得令人发指，所以还有一个方面，如果有人换了传感器怎么办，“他指出。”传感器是否在系统中进行自我认证？系统对传感器的要求是什么，说：'你现在的完整性是什么？摄像机的镜头是不是坏了？它可能还能正常工作，但在那个关键时刻，你会失去一些真正重要的东西。所以物理世界和数字世界之间有一种相互作用，我们必须克服在不同的孤岛中工作。我们都需要进入同一个房间，互相交流。"
模块化设计对事情没有帮助。"在电子设计中，我们已经经典地设计了模块化，我们设计了一个分离的关注点，比如'除了通过这个狭小的接口，这块不会影响另一块，'“他说。”但我们正在进入一个整体验证和事物之间的相互关系正在成为一个真正的焦点的世界。我们真的需要超越我们只关注模块化的思维模式，拥有双重视角，我们在经典方法和新技术之间来回穿梭，甚至可能通过人工智能的增强，帮助我们找到我们所忽视的东西，这包括安全。在神经网络或决策函数的训练过程中，需要一个对抗性强的模型。我们需要预测到这些的替换，我们需要预测到人们会试图覆盖这些。即使是家庭爱好者也会尝试用新的神经网络来覆盖他们汽车中的神经网络，使他们能够从汽车中获得更高的性能。"
