自动驾驶行业现状,端到端大模型,训练,数据合成方法

人工智能 无人驾驶
当前最火的是高科技行业,有自动驾驶,大模型,具身机器人等。最近了解了下自动驾驶行业一些情况,分享给大家。

自动驾驶行业现状

1、当前行业主要玩家有

     第一梯队有:华为,momenta,元戎 

     第二梯队有:鉴智, 绝影智能等

2、主机厂现在都要求自动驾驶厂商白盒交付,本质上就是前两年依赖供应商,后面打算自己做。 整个行业基本上是赔本赚吆喝的阶段。没有收入,每年还要自己投入几个亿进行模型的训练,人才等。

3、行业竞争非常激烈,独立的自动驾驶厂商未来可能存活的不会超过 5 家。未来的格局大概率是头部tier1厂商+主机厂自己。

4、可能存活的玩家有华为,momenta,小马智行等等。

自动驾驶分级

自动驾驶分为 6 级。

L0至L2级为驾驶辅助,现阶段多家车企提出的“智驾平权”,都属于L2级范畴,驾驶员需全程监控驾驶。

从L3级开始,就进入了自动驾驶的范畴,属于有条件自动驾驶,紧急情况下需要驾驶员接管车辆;

而L4级和L5级则分别代表高度自动驾驶和完全自动驾驶,车辆几乎可以在所有场景下自主运行。

自动驾驶模型以及端到端大模型是什么

1、主流的自动驾驶架构分为三个部分,感知,决策和执行三大模块。

2、感知模型复制物体识别。决策和执行负责执行指令,包括汽车的操作,车内控制等。传统方案通过感知模型感知物体,然后通过写各种规则进行决策和执行。这一个比较大的问题就是很难穷尽所有的场景,进化也非常消耗人力。

3、大模型出来之后,业界也都在训练端到端大模型,就是感知模型和决策和执行模型到一起。理论上只需要不停的灌数据,模型就不停的升级。

4、自动驾驶模型参数量一般是 7B~12B,相比几百 B 的大语言模型非常小。

激光雷达方案和纯视觉方案

激光雷达方案是通过发射激光束并接收反射信号,生成高精度的三维环境地图,并与其他传感器(如摄像头、雷达)结合使用,形成多传感器融合的感知系统。

优势在于可靠性、高精度感知和全天候性能;缺点也显而易见,就是成本高昂。另外,激光雷达通常体积较大、功耗高,对于产品设计和能源管理要求很高。

相比之下,纯视觉方案主要依赖摄像头作为核心传感器,通过计算机视觉算法对摄像头捕捉到的图像进行处理,识别道路上的车辆、行人、交通标志、信号灯等物体,并基于这些信息做出驾驶决策。

核心在于深度学习和神经网络,通过大量的数据训练,逐步提升系统对复杂环境的理解能力。优势在于成本较低、技术成熟和数据丰富,缺点在于受环境影响较大,精度有限,对于计算资源需求高。

自动驾驶数据采集和训练方法

一般是通过采集车去采集各种道路数据,这个有专门的团队去负责这个事情。

采集车的设备一般比量产车的设备精度要更高,获得数据更多。

用这些数据去训练自动驾驶模型,然后量产车上更低的精度的数据作为输入,进行推理。

数据合成方法

物理采集有非常多多限制,典型比如各种下雨天场景,或者限速比较容易采集 80,120,但是有些特别的场景比如限速 30,40。就比较难采集。需要用到数据合成的方法。

典型的一个自动驾驶公司 40PB 图片视频数据,80% 靠采集,20% 靠合成。

合成数据也是用到模型,合成感知模型数据的模型叫世界大模型,合成规划控制的叫规控模型。

自动驾驶厂商,算法工程师,PM 需要把 corner case 找出来,然后用世界大模型,规控模型合成相应的数据然后再 fine tune 自动驾驶模型。

自动驾驶需要用到的数据处理相关工作

视频,图片数据需要处理的比较少。主要有处理的部分有:

1、采集数据不清晰,需要过滤能力。

2、多模态检索能力,算法工程师,PM 需要将一定场景的视频数据通过检索,挖掘出来用于合成之后,进行二次训练。

3、对场景惊醒均匀化,比如前面提到的限速问题。

所以综合来说,自动驾驶行业主要用到的是数据管理,多模态检索的能力。

责任编辑:庞桂玉 来源: CloudAI Sphere
相关推荐

2023-10-30 09:47:00

自动驾驶技术

2024-04-15 11:40:37

自动驾驶端到端

2023-08-05 13:08:54

2023-08-24 09:52:44

自动驾驶设计

2024-02-21 09:14:32

端到端自动驾驶

2024-03-13 09:39:45

端到端自动驾驶

2023-01-04 09:59:48

自动驾驶技术

2024-03-15 10:20:14

自动驾驶模型

2025-02-10 10:35:00

自动驾驶端到端模型

2024-04-17 09:50:28

自动驾驶端到端

2024-01-04 09:35:41

自动驾驶端到端

2024-10-11 09:32:48

2023-10-18 09:40:25

自动驾驶技术

2023-12-18 10:15:30

自动驾驶自然语言

2023-12-11 10:29:11

自动驾驶系统

2024-08-13 12:39:23

2024-08-14 10:40:00

模型自动驾驶

2024-06-19 09:45:07

2023-10-10 09:31:35

自动驾驶技术

2024-01-23 13:32:53

地平线自动驾驶
点赞
收藏

51CTO技术栈公众号