惊艳!!!特斯拉端到端演示视频分析

人工智能 智能汽车
特斯拉使用的还是有中间模块监督的多任务端到端,所以前端仍然可以显示出来obj det和occ的结果。

本文经自动驾驶之心公众号授权转载,转载请联系出处。

外网有用户放了一段特斯拉FSD v12的视频,有人搬运到b站上了:

https://www.bilibili.com/video/BV1Z6421M797www.bilibili.com/video/BV1Z6421M797

这次恰好还是纯视觉比较难做的场景:雨天地面有积水,积水反射的各种图案可能会产生一些奇奇怪怪的occupancy。由于特斯拉去年也没有开ai day(说是友商总是一帧一帧地抠他们的ppt,干脆不开了),在没有详细信息的情况下,从视频里可以窥见一些端到端的特性,下面针对其中一些有意思的地方分析一下。

01:57,误检车门打开,大幅度绕行:

图片

这里倒是问题不大,左侧有比较大的空间,所以多绕一点也无所谓了。

02:09,误检occ导致几乎刹停:

图片

这里行人已经走了所以可以起步了,但地面有较多积水,反射地面以上的物体导致occ误检,又停了一会才起步。

04:40,近距离cutin车辆漏检

图片图片

这里左侧非常近距离的倒车cut-in车辆漏检了,但planning似乎并没有给出起步的意图,这里体现出了端到端的一大优势:上游出错的结果并不一定会导致错误的驾驶行为,后面我们还会看到更多类似的例子。

05:37 误检occ

图片图片

这里可能也是地面积水产生的occ吧,端到端采信了这个结果,左右乱打方向盘,一会向左一会向右。

05:48,左右近距离occ误检

图片

在左右非常近的位置出现了occ误检,如果还是按规则来写可能就得报接管了(也不一定,毕竟没有在行驶轨迹上),这里端到端直接无视了这两坨occ,继续开。

06:57,正前方近距离行人误检

图片

这个是真的牛逼,脸上刷出来一个行人,所有基于规则的规控此时一定会急刹+警报了,但端到端模型并不认可上游的结果,照常行驶。

14分:在一个私人停车场里打转出不去了

图片

这里可能是BEV的感知距离不够的问题,迟迟没有找到出口,在一个停车场里打转。。

其他的片段就都是主路上行驶了,到了主路上FSD v12的表现很丝滑,没有什么大问题,尤其是夜晚看车道线的检测也是非常稳定的,不过我觉得大部分厂家也能做到这样的水平,就不多提了。

单看停车场这一段,如果不看上游的结果的话,除了那个正前方occ误检导致左右乱打方向盘,FSD v12的轨迹还是比较丝滑的,即使有错误也没有被卡住的情况。在这样一个有行人、有不规则移动障碍物(手推车)、地面有积水的场景中表现也确实还可以。

特斯拉使用的还是有中间模块监督的多任务端到端,所以前端仍然可以显示出来obj det和occ的结果。但是端到端里的规控并不一定会采信上游的结果,近距离漏检了不一定会起步撞车,近距离误检了也不一定会刹停,所有的结果都输入到pnc里综合判断。这确实是比较有意思的一点,可以确定的是马斯克并没有说谎,这的确是一个端到端系统才会有的表现。

责任编辑:张燕妮 来源: 自动驾驶之心
相关推荐

2022-09-21 11:48:40

端到端音视频测试用户体验

2022-09-02 10:20:44

网络切片网络5G

2021-05-27 14:23:50

加密端到端加密加密技术

2021-06-30 09:00:00

测试Web软件

2020-10-26 13:51:11

Kafka数据端到端

2024-02-21 09:14:32

端到端自动驾驶

2021-01-26 00:37:12

物联网安全物联网端到端安全

2024-06-27 09:50:56

2013-04-10 13:55:09

IDF2013柏安娜端到端

2023-03-16 14:29:48

Vue.js测试

2020-05-08 15:07:29

Zoom收购Keybase

2009-03-17 09:56:00

802.11n测试无线网络

2018-04-10 08:33:18

NVMe闪存存储

2024-03-13 09:39:45

端到端自动驾驶

2024-10-11 09:32:48

2013-02-27 15:14:04

中国移动华为LTE

2022-11-18 12:42:14

2024-08-08 09:30:00

2023-10-30 09:47:00

自动驾驶技术

2018-08-13 21:19:07

Weld开源数据
点赞
收藏

51CTO技术栈公众号