自动驾驶

自动驾驶技术路线全景分析

全面梳理自动驾驶核心技术路线:从经典模块化架构、端到端学习,到前沿的世界模型、VLA 大模型和车路协同。深入分析每种方案的框架原理、代表工作和未来趋势。

📖 1. 概述

自动驾驶是人工智能与汽车工程的交叉领域,其核心目标是让车辆在复杂动态环境中实现自主导航。经过数十年发展,目前形成了多条并行演进的技术路线,各路线在系统架构、算法范式、传感器配置等方面存在根本性差异。

当前主流技术路线可归纳为以下四类:

🏗️

模块化架构

传统感知-预测-规划-控制流水线,各模块独立设计

🤖

端到端学习

从传感器输入直接映射到控制指令,统一神经网络

📡

车路协同 (V2X)

车辆与基础设施通信,扩大感知范围

🧠

世界模型

基于环境预测与推理的下一代智能架构

💡
关键洞察:各路线并非互斥,实际落地方案往往是多条路线的混合体。例如量产车多采用"模块化为主 + 局部端到端"的混合架构,而 Robotaxi 则在探索"世界模型 + 强化学习"的前沿方案。

自动驾驶技术路线演进

自动驾驶技术路线演进时间线 2004 DARPA 挑战赛起步 2012 AlexNet 后 CNN 感知崛起 2018 端到端升温 NVIDIA Pipeline 2022 世界模型 Occ World 等 2025+ 多模态融合 VLA 大模型 模块化架构 端到端学习 世界模型 / VLA 车路协同 V2X

🏗️ 2. 模块化架构

2.1 系统框架

模块化架构是自动驾驶领域的经典技术路线,将驾驶任务分解为感知、预测、规划、控制四个独立模块,每个模块内部可进一步拆分子任务。这种"分而治之"的策略降低了工程复杂度,便于调试和验证。

模块化流水线架构

模块化自动驾驶系统架构 传感器采集层 Camera / LiDAR / Radar GPS / IMU / 超声波 多源数据同步 ① 感知层 目标检测 & 语义分割 车道线 / 可行驶区域 定位与地图构建 ② 预测层 轨迹预测 交互行为建模 ③ 规划层 行为决策 (换道/跟车) 路径规划 (A*/RRT) 轨迹优化 (数值优化) ④ 控制层 横纵向控制 PID/MPC 跟踪 前馈+反馈 状态反馈(里程计、IMU) 感知子任务 • 2D/3D 目标检测 • 车道线检测 • 可行驶区域分割 • 交通标志识别 • 多传感器融合 • 定位与地图构建 预测子任务 • 单目标轨迹预测 • 多目标交互预测 • 交互行为建模 • 不确定性建模 • 多模态轨迹生成 规划子任务 • 行为决策 (FSM) • 全局路径规划 • 局部轨迹生成 • 速度/加速度规划 • 时空联合优化 • 安全约束验证 控制子任务 • 横向控制 • 纵向控制 • PID/MPC 跟踪 • 前馈+反馈 • 执行器补偿

2.2 感知模块

感知模块负责从传感器数据中提取环境语义信息,是自动驾驶系统的眼睛。其核心任务包括目标检测与识别、语义分割、可行驶区域估计、车道线检测等。

经典感知架构

基于 Camera 的 2D/3D 检测

利用深度神经网络从图像中检测车辆、行人、障碍物等目标的2D边界框或3D位置。

$$\text{Detection: } \mathcal{D} = \{(x_i, y_i, w_i, h_i, c_i, p_i)\}_{i=1}^N$$

其中 \((x,y,w,h)\) 为边界框,\(c\) 为目标类别,\(p\) 为置信度。3D检测额外回归深度和朝向角:

$$\text{3D: } \mathcal{D}_{3D} = \{(x, y, z, l, w, h, \theta, c, p)\}$$

代表方法:YOLO 系列(单阶段)、Faster R-CNN(两阶段)、DETR(Transformer 端到端)、BEVFormer(BEV 空间融合)。

BEV 鸟瞰图构建

将多视角相机/LiDAR 特征变换到统一的鸟瞰图空间,为后续规划提供直观的环境表示。

$$\mathcal{F}_{BEV} = \text{Transform}( \mathcal{F}_{cam1}, \mathcal{F}_{cam2}, ..., \mathcal{F}_{LiDAR} )$$

关键技术

  • IPM (Inverse Perspective Mapping):逆透视变换,将图像映射到地平面
  • Transformer-based:如 BEVFormer 使用可变形注意力将图像特征投影到 BEV 网格
  • LSS (Lift-Splat-Shoot):深度估计 + 逐像素投影 + BEV 池化
多传感器融合

利用 Camera、LiDAR、Radar 的互补特性实现鲁棒感知。

传感器优势劣势
Camera纹理丰富、色彩信息、成本低受光照影响大、深度估计差
LiDAR精确 3D 信息、不受光照影响成本高、无色彩、雨雾退化
Radar全天候、直接测速、成本适中分辨率低、无垂直信息

融合策略:前融合(原始特征级融合)、后融合(决策级融合)、特征级融合。当前主流趋势是特征级深度融合(如 BEV 空间的跨模态对齐)。

2.3 预测模块

预测模块根据历史轨迹和环境上下文,推断交通参与者的未来行为与轨迹。这是规划决策的基础,也是模块化架构中最具挑战的环节。

单目标轨迹预测

$$p(\tau_i | \mathcal{H}_i, \mathcal{C}) = \prod_{t=1}^T p(s_i^{t} | \mathcal{H}_i, \mathcal{C})$$

给定历史轨迹 \(\mathcal{H}_i\) 和上下文 \(\mathcal{C}\)(地图、其他目标),预测未来 \(T\) 步的状态序列。

代表方法:Social LSTM、Trajectron++、Scene Transformer。

多模态预测

$$\{\tau_i^{(k)}, \pi_i^{(k)}\}_{k=1}^K = f(\mathcal{H}_i, \mathcal{C})$$

输出 \(K\) 条可能的轨迹及其概率 \(\pi^{(k)}\)。处理驾驶场景的高度不确定性(如被遮挡车辆可能直行或转弯)。

2.4 规划模块

规划模块是自动驾驶的大脑,可分为行为决策、运动规划和轨迹优化三个层次。

规划层次结构

规划模块层次结构 行为决策层 换道 / 跟车 / 让行 / 左转 / 右转 有限状态机 (FSM) / 行为树 / 规则引擎 运动规划层 路径规划 (A* / Hybrid A* / RRT*) 速度规划 (ST 图 / 速度障碍物法) 轨迹优化层 MPC / 二次规划 / 样条插值 时空联合优化 / 碰撞约束 重规划(当环境发生显著变化时触发) 决策频率: 1-10 Hz 长期规划 (1-10秒) 规划频率: 10-50 Hz 中期轨迹 (1-5秒) 优化频率: 50-100 Hz 短期平滑 (0.5-2秒)

关键规划算法

算法类型原理优点缺点
有限状态机 (FSM)行为决策预定义状态与转移规则简单、可解释扩展性差、长尾场景
Hybrid A*路径规划A* + 连续状态空间 + Reeds-Shepp保证可通行性非最优
RRT*路径规划渐进最优的随机采样算法概率完备收敛慢
ST 图 + 速度规划速度规划在 ST 图中搜索安全的 s-t 曲线直观处理动态障碍物忽略横向运动耦合
MPC 轨迹优化轨迹优化滚动时域带约束优化最优+约束+预测计算量大
时空联合优化联合优化同时优化路径和速度 (如 Frenet 框架)全局最优高维优化

2.5 控制模块

控制模块接收规划模块生成的参考轨迹,输出油门、刹车、转向等执行器指令,使车辆精确跟踪目标路径。

📈

横向控制

控制转向角跟踪参考路径,经典方法包括 Pure Pursuit、Stanley 控制器、LQR 横向控制、MPC 横向控制。

纵向控制

控制速度/加速度跟踪参考速度曲线,包括 PID 速度控制、MPC 纵向控制、ACC(自适应巡航控制)。

🔗

耦合控制

纵横向联合控制,考虑侧向加速度对纵向动力学的影响,常见于高速场景和极限工况。

横向控制经典方法对比

方法模型特点适用场景
Pure Pursuit几何模型前视点跟踪,简单有效低速、曲率变化小
Stanley几何模型横向偏差+航向偏差反馈一般道路
LQR线性动力学最优状态反馈,忽略约束高速、平缓道路
MPC动力学模型显式约束+滚动优化复杂道路、极限工况
实践建议:量产车通常采用"PID 或 LQR 为主 + MPC 作为安全冗余"的混合控制策略。低速泊车场景偏好几何模型(Pure Pursuit),高速场景偏好动力学模型(LQR/MPC)。

🤖 3. 端到端学习路线

3.1 核心理念

端到端自动驾驶的核心理念是:用一个统一的神经网络直接从传感器输入(图像、LiDAR 点云等)映射到控制指令(转向角、油门、刹车),取代模块化架构中的感知-预测-规划-控制流水线。

模块化架构

传感器感知预测规划控制

每个模块独立标注/训练/调优,累积误差传递,需要大量人工设计规则。

端到端架构

传感器→ 单一神经网络 → 控制指令

可微分的完整 pipeline,直接从数据中学习驾驶策略,无需人工标注中间结果。

端到端的学习框架有两种主要形式:直接端到端(从传感器到控制)和条件端到端(从传感器到中间表示再到控制,但整体可微)。

3.2 发展历程

📜 1988: ALVINN 开创者

Pomerleau 在卡内基梅隆大学提出的 ALVINN (Autonomous Land Vehicle In a Neural Network) 是端到端自动驾驶的鼻祖。

  • 输入:30x32 像素的单目图像 + 激光测距
  • 输出:道路方向(转向角度)
  • 网络:三层全连接神经网络(约 1000 个神经元)
  • 训练:人工驾驶数据模仿学习
  • 结果:在简单道路上实现约 70 mph 的自主行驶

ALVINN 证明了端到端学习的可行性,但受限于当时的计算能力和数据规模。

📷 2016: NVIDIA PilotNet (DAVE-2)

NVIDIA 提出的 PilotNet 将端到端自动驾驶重新带回主流视野。

$$\text{in: } I_{img} \in \mathbb{R}^{66 \times 200 \times 3} \quad \Rightarrow \quad \text{out: } \delta_{steer} \in \mathbb{R}$$

架构:9 层卷积网络(Convolutional Neural Network),包含归一化层、5 个卷积层、3 个全连接层。

训练数据:3 天人工驾驶数据,约 72 小时,包括晴天/阴天/夜间/雨天等不同条件。

创新:使用侧置摄像头数据模拟"从错误中学习"——当车辆偏离车道时,侧置摄像头的视角被标记为"需要校正",相当于自动生成纠正样本。

🌈 2023+: 大模型时代

Transformer、扩散模型、大语言模型等技术被引入端到端自动驾驶:

  • UniAD (2022, 清华/商汤):首个以 query 为统一接口的端到端框架,将感知、预测、规划整合为 Transformer 架构
  • GPT-Driver (2023, 微软):将运动规划转化为语言建模问题,用 LLM 生成轨迹
  • DriveVLM (2024, 清华):融合视觉语言模型 (VLM) 进行驾驶场景理解和决策
  • AD-MoE (2024, 百度):混合专家模型处理多种驾驶场景

3.3 主流端到端框架

UniAD (Unified Autonomous Driving)

UniAD 是首个以 query 统一各模块的端到端框架,将感知、预测、规划整合在一个 Transformer 架构中。

# UniAD 核心架构示意(伪代码)
class UniAD(nn.Module):
    def __init__(self):
        self.backbone = BEVFormer()    # BEV 特征提取
        self.track_query = TrackQuery()  # 跟踪 Query
        self.map_query = MapQuery()      # 地图 Query
        self.motion_query = MotionQuery() # 运动 Query
        self.planning_head = PlanningHead() # 规划头

    def forward(self, imgs, pts):
        # Step 1: 提取 BEV 特征
        bev_feat = self.backbone(imgs, pts)
        # Step 2: 感知 - 检测和跟踪目标
        tracks = self.track_query(bev_feat)
        map_elems = self.map_query(bev_feat)
        # Step 3: 预测 - 基于 track + map 预测未来轨迹
        motions = self.motion_query(tracks, map_elems, bev_feat)
        # Step 4: 规划 - 基于感知+预测结果生成自车轨迹
        plan = self.planning_head(motions, map_elems, bev_feat)
        return plan

关键创新

DriveVLM: 视觉语言模型融合

DriveVLM 将视觉语言模型(VLM)与传统的规划模块相结合,利用大模型的常识推理能力处理复杂交通场景。

$$\text{Chain-of-Thought: } I_{scene} \rightarrow \text{Scene Description} \rightarrow \text{Reasoning} \rightarrow \text{Decision}$$

工作流程

Step 1: 场景描述

VLM 对当前场景进行文本描述,如"前方 50 米处有一辆公交车正在靠站,右侧有骑行者接近"

Step 2: 链式推理

VLM 进行多步推理:"公交车可能突然开门 → 需要保持安全距离 → 建议减速并轻微左偏"

Step 3: 轨迹生成

将推理结果传递给传统的轨迹优化模块生成具体轨迹

💡
优势与挑战:VLM 在长尾场景(corner cases)和极端情况下的推理能力显著优于规则系统。但推理延迟(数百毫秒级)和幻觉(hallucination)问题是当前的主要瓶颈。

3.4 端到端架构对比

框架年份基础架构输入输出特点
ALVINN1988全连接网络30x32 图像转向角开创性工作
PilotNet2016CNN单目相机转向角工业化尝试
Conditional Imitation2017CNN + 命令图像 + 导航指令控制指令条件模仿学习
UniAD2022Transformer多相机轨迹 + 控制统一 query 端到端
VAD (Vectorized AD)2023Transformer多相机轨迹矢量化场景表示
DriveVLM2024VLM + Planner多相机轨迹 + 文本推理大模型常识推理

📡 4. 车路协同 (V2X) 路线

4.1 基本概念

车路协同 (V2X, Vehicle-to-Everything) 通过无线通信技术实现车辆与外界的信息交互,突破单车智能的感知局限。其核心理念是"聪明的车 + 智慧的路"。

🚗↔🚗

V2V

车-车通信,共享位置、速度、意图、意图等信息

🚗↔🏦

V2I

车-基础设施通信,接收信号灯、拥堵、施工等路况

🚗↔🌐

V2N

车-云通信,获取超视距路况、区域调度、HD 地图更新

🚗↔🚶

V2P

车-行人通信,行人手机 APP 广播位置,车辆预警

V2X 系统架构

V2X 车路协同系统架构 云平台 (V2N) 区域调度 / 全局规划 / HD 地图 路侧单元 (V2I) RSU + 路侧传感器 信号灯 / 摄像头 / 雷达 智能网联车辆 (V2V) OBU + 车载传感器 C-V2X / DSRC 通信 行人/移动终端 (V2P) 手机 APP / 可穿戴设备 广播位置 / 接收预警 C-V2X (LTE-V / NR-V2X) 中国主导蜂窝通信路线 DSRC (802.11p) 欧美主导专用短程通信

4.2 关键技术

通信技术

维度C-V2X (LTE-V / NR-V2X)DSRC (802.11p)
技术路线蜂窝通信 (3GPP)WLAN 家族
时延< 20ms (LTE-V) / < 5ms (NR-V2X)< 10ms
通信距离> 500m (直连) / 广域 (蜂窝)< 300m
数据速率10-100 Mbps6-27 Mbps
演进路径5G NR 持续演进已冻结,无后续版本
产业支持中国车联网主力路线欧美部分存量部署

协同感知融合

V2X 的核心价值在于 协同感知——将路侧传感器和周围车辆感知结果融合,消除单车盲区。

$$\mathcal{O}_{fused} = \bigcup_{i=1}^N \mathcal{O}_i \quad \text{(空间对齐 + 时间同步 + 置信度融合)}$$

融合架构

4.3 典型应用场景

🚦 交叉口安全通行

V2I 路侧单元通过摄像头/雷达检测交叉口视野盲区的行人、非机动车,实时发送至接近车辆:

  • RSU 检测到盲区有行人即将穿越路口
  • RSU 通过 V2I 向接近车辆发送 "减速预警"
  • 车载系统提醒驾驶员或自动减速
🏗️ 高速公路协同编队 (Platooning)

V2V 通信使多车形成紧密编队,跟随车与前车距离缩短至 10-20 米:

  • 头车加速/刹车信息通过 V2V 在 1ms 内广播给所有跟随车
  • 编队整体反应时间从人的 1-1.5s 降至 0.1s
  • 降低跟随车 10-20% 燃油消耗(减少空气阻力)
🏫 弱势交通参与者保护 (VRU)

行人手机 APP 通过 V2P/V2N 广播位置,车辆即使在没有视觉接触的情况下也能感知行人:

  • 混合精度距离模型:考虑 GPS 误差、通信时延、行人移动速度
  • 碰撞风险评估:计算 TTC (Time-to-Collision),当 TTC < 阈值时触发预警
  • 车内预警方式:HUD 视觉提示 + 声音告警 + 可选主动制动
⚠️
瓶颈与挑战:(1) 通信时延与可靠性——安全关键场景要求端到端时延 < 10ms,通信丢包率 < 0.1%;(2) 部署密度——需要路侧单元覆盖足够的路口和路段,形成"网络效应";(3) 标准统一——跨 OEM、跨地区互操作性。

🧠 5. 强化学习路线

5.1 基本原理

强化学习 (Reinforcement Learning, RL) 将自动驾驶建模为序列决策问题:智能体(自动驾驶车辆)通过与环境(交通场景)交互,学习最大化累积奖励的策略。

$$\text{目标: } \max_{\pi} \mathbb{E}_{\tau \sim p(\tau|\pi)} \left[ \sum_{t=0}^{T} \gamma^t r(s_t, a_t) \right]$$

其中 \(\pi(a|s)\) 是策略(从状态到动作的映射),\(r(s, a)\) 是奖励函数,\(\gamma\) 是折扣因子。

值函数 (Value-Based)

学习状态-动作值函数 \(Q^*(s, a)\),选择最大化 Q 值的动作:

$$a^* = \arg\max_a Q^*(s, a)$$

代表算法:DQN, Double DQN, Dueling DQN

策略梯度 (Policy-Based)

直接参数化策略 \(\pi_\theta(a|s)\),沿梯度 \(\nabla_\theta J(\theta)\) 更新:

$$\nabla_\theta J = \mathbb{E}[\nabla_\theta \log \pi_\theta \cdot R(\tau)]$$

代表算法:PPO, SAC, TRPO

演员-评论家 (Actor-Critic)

结合值函数和策略梯度,actor 选择动作,critic 评估动作:

$$\nabla_\theta J = \mathbb{E}[\nabla_\theta \log \pi_\theta \cdot A(s, a)]$$

代表算法:A3C, SAC, TD3

5.2 自动驾驶中的 RL 挑战

挑战描述解决方法
安全约束探索阶段可能发生碰撞安全强化学习 (Safe RL)、约束 MDP
奖励设计稀疏奖励导致学习困难奖励塑形、逆强化学习 (IRL)、模仿学习预训练
样本效率真实环境中训练成本极高Sim-to-Real、域随机化、世界模型增强
多智能体交互其他车辆策略动态变化MARL (多智能体 RL)、对手建模
分布偏移仿真与现实场景差异域自适应、PRM (预测性奖励模型)

5.3 典型 RL 自动驾驶架构

当前最成功的 RL 自动驾驶应用是 Sim-to-Real 模仿学习 + 强化学习微调 的混合路线:

RL 自动驾驶训练架构 专家演示数据 人工驾驶 / 规则规划器 模仿学习预训练 行为克隆 (BC) 仿真训练 RL 微调 (PPO/SAC) 域随机化 + 场景增强 安全探索 + 奖励塑形 真实部署 Sim-to-Real 迁移 迭代收集新数据,持续训练 核心挑战: 策略在仿真中学到的行为能否安全迁移到真实物理世界? 关键技巧: 域随机化、渐进式迁移、安全限制层 (Safety Shield)

奖励函数设计示例

一个典型的自动驾驶 RL 奖励函数包含多个组成部分:

$$\begin{aligned} r(s, a) &= w_1 \cdot r_{progress} + w_2 \cdot r_{comfort} + w_3 \cdot r_{safety} + w_4 \cdot r_{efficiency} \\[4pt] r_{progress} &= \Delta v \cdot \cos(\Delta\theta) \quad \text{(沿道路前进)} \\[4pt] r_{comfort} &= -\|a_{steer}\|^2 - \|a_{accel}\|^2 \quad \text{(平顺性)} \\[4pt] r_{safety} &= \begin{cases} -100, & \text{if collision} \\ -d_{ego}^{-2}, & \text{if } d_{ego} < d_{min} \end{cases} \quad \text{(安全)} \\[4pt] r_{efficiency} &= v / v_{desired} \quad \text{(目标速度跟踪)} \end{aligned}$$

5.4 强化学习在自动驾驶中的应用领域

🔀

决策与换道

学习何时换道、如何与相邻车辆博弈,经典任务如高速公路换道决策

🛎️

泊车规划

学习复杂窄车位的运动规划策略,处理各种边角情况

能量优化

学习最优加速/制动策略降低能耗,尤其适合混动/电动车辆

📊

行为人建模

学习其他道路使用者的行为模式,用于预测模块或仿真环境

重要结论:纯 RL 端到端驾驶尚未在量产车中实现,但RL + 模仿学习混合路线在决策规划层面已展现显著优势(如 Waymo 的 ChauffeurNet、Wayve 的 GAIA-1)。当前最成功的做法是将 RL 应用于局部决策,与传统规划器形成互补。

🌍 6. 世界模型路线

6.1 核心概念

世界模型 (World Model) 是近年兴起的下一代自动驾驶范式,其核心理念是:构建一个能够预测环境未来演变的内在世界模型,使车辆不仅看到当前场景,还能"想象"多种可能的未来,从而做出更明智的决策。

传统方法

"看到什么就是什么"——感知当前状态,预测下一帧轨迹,规划对应路径。

世界模型方法

"想象可能发生什么"——构建环境的隐式表示,推演多种可能的发展方向,选择最优应对策略。

6.2 世界模型的框架

世界模型通常包含三个核心组件:

世界模型三组件架构 编码器 (Encoder) 将原始传感器输入压缩为 隐状态表示 z_t \(\mathcal{E}: o_{t} \rightarrow z_t\) 动力学模型 (Dynamics Model) 在隐空间中预测状态的演变 \(z_{t+1}, r_{t+1} = f(z_t, a_t)\) 支持多步展开 (Rollout) 可处理不确定性: \(p(z_{t+1}|z_t, a_t)\) 解码器 (Decoder) 将隐状态解码为 可观测的预测结果 \(\mathcal{D}: z_t \rightarrow \hat{o}_t\) 隐空间 Rollout: 在隐空间中进行多步预测,无需解码为观测

6.3 代表性工作

🧩 DreamerV1/V2/V3 (Google DeepMind)

Dreamer 系列是隐空间世界模型的代表性工作,从 DreamerV1(学习 Latent Dynamics)到 DreamerV3(通用算法、无需调参):

$$\text{Learning: } \max_\phi \mathbb{E}_{z_t \sim q_\phi}[\sum_t \gamma^t r_t] \quad \text{in imagined latent space}$$

DreamerV3 的核心组件

  • RSSM (Recurrent State-Space Model):循环状态空间模型,建模随机+确定性的隐状态演化
  • 世界模型学习:联合学习 Encoder、Dynamics Model、Reward Model、Continue Model
  • 行为学习:在隐空间中进行"想象 Rollout",使用 Actor-Critic 学习最优策略
  • 关键技巧:Symlog 变换(处理大范围奖励值)、自由信息量(Free Bits)正则化
DreamerV3 在 Minecraft 钻石收集等长期规划任务中表现优异,证明了隐空间规划的有效性。
🌍 OccWorld (清华大学, 2023)

OccWorld 是专为自动驾驶设计的3D 占据预测世界模型

核心思想:在 BEV (Bird's-Eye-View) 占据空间中预测未来场景的 3D 占用网格演变。

$$p(\text{Occ}_{t+1:T} | \text{Occ}_{1:t}) = \prod_{i=t}^{T-1} p(\text{Occ}_{i+1} | \text{Occ}_i, a_i)$$

架构特点

  • 使用 3D 稀疏卷积处理占据网格数据
  • 预测未来 N 帧的占据网格(多模态输出)
  • 可应用于运动规划:在预测的未来占据图中搜索无碰撞轨迹
  • 支持多模态预测(直行、减速、转向等不同情境下的未来占据)
📹 GAIA-1 (Wayve, 2023)

GAIA-1 (Generative AI for Autonomy) 是一个 自动驾驶视频生成世界模型

  • 输入:视频序列 + 文本指令 + 自车控制信号
  • 输出:多种可能的未来视频场景
  • 架构:基于 Transformer 的因果模型,类似于视频 GPT
  • 能力:生成高质量的未来驾驶视频,支持条件控制(天气、交通密度等)
  • 应用:策略学习(模型预测控制)、场景仿真(数据增强)、规划验证
💡
GAIA-1 展示了"生成式世界模型"的潜力——不仅预测场景,还能生成你想要的场景。类似的还有 UniSim (Google) 和 DriveDreamer 等。

6.4 世界模型的优势

维度传统模块化世界模型
场景理解离散目标检测 + 语义分割连续占据场 + 隐式表示
未来预测独立预测每个目标的轨迹联合预测场景整体演变
不确定性有限的概率输出内在概率生成模型
规划方式显式轨迹优化隐空间 Rollout + 决策
数据效率需要大量标注可以利用无标注数据(自监督)
可解释性模块清晰隐空间解释困难
⚠️
当前局限:(1) 计算成本高——高分辨率隐空间 Rollout 需要大量算力;(2) 长期预测漂移——自回归生成随时间累积误差;(3) 安全验证困难——概率模型的极端情况行为难以保证。

📦 7. VLA: 视觉-语言-行动大模型

7.1 VLA 的概念

VLA (Vision-Language-Action Model) 是将视觉理解、语言推理、行动生成三者融合的新一代自动驾驶框架。它利用预训练的大语言模型(LLM)和视觉语言模型(VLM)的常识推理能力,弥补传统驾驶系统的场景理解盲区。

VLA 架构层次

VLA 自动驾驶架构 视觉编码器 ViT / InternImage 多视角图像 → tokens 大语言模型主干 Qwen / LLaMA / GPT 场景推理 + 常识知识 Chain-of-Thought 推理 行动解码器 轨迹参数化 控制指令生成 执行器 VLA 输入的文本 Prompt 示例: "我是一名自动驾驶车辆。当前行驶在双向两车道城市道路上,前方 30 米处有 一辆公交车正在靠站,右侧有非机动车通行。有对向来车。请描述场景并提出驾驶决策。" "公交车可能突然开门,右侧非机动车可能绕行。建议减速至 20km/h,保持车距 15 米,准备随时刹车。"

7.2 VLA 的工作原理

VLA 通过多模态对齐将视觉特征与语言 token 对齐,使 LLM 能够"看懂"驾驶场景并进行推理:

$$\text{VLA: } \underbrace{\text{Vision Encoder}}_{\text{图像 $\rightarrow$ tokens}} \rightarrow \underbrace{\text{LLM Backbone}}_{\text{CoT 推理}} \rightarrow \underbrace{\text{Action Decoder}}_{\text{tokens $\rightarrow$ 轨迹}}$$

关键设计点

7.3 VLA vs 传统路线

对比维度传统模块化方案VLA 大模型方案
长尾场景处理需人工编写规则利用大模型内置常识推理
场景理解深度离散类别标签丰富的语义描述与关系推理
可解释性模块输出可观察CoT 推理过程可读
泛化能力需针对新场景重新训练零样本/少样本泛化潜力大
推理时延< 50ms100ms - 数秒
计算资源单个 Orin (254 TOPS)需要多卡/云端推理
安全可认证可形式化验证黑盒推理难以认证
当前共识:VLA 短期内难以在车端实时运行。2025-2027 年的趋势是"云端 VLA 推理 + 车端传统控制器"的混合架构:VLA 在云端处理复杂长尾场景,生成决策建议并下发到车端。

📊 8. 技术路线对比与趋势

8.1 多维度对比

维度模块化架构端到端学习V2X 车路协同世界模型VLA 大模型
成熟度⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐
可解释性
计算成本中(含通信)极高极高
车端实时性✅ 可实现✅ 有限制✅ 可实现❌ 困难❌ 困难
长尾场景弱(需规则补丁)中(需数据覆盖)强(路侧辅助)中(推理能力)强(常识推理)
安全认证相对容易困难相对容易困难极困难
量产应用Tesla、Waymo、百度Wayve、部分场景中国试点城市Demo 阶段Demo 阶段
标注需求大量逐模块标注驾驶数据无标注/自监督图文对 + 驾驶数据
数据效率高(利用无标注数据)高(预训练知识迁移)

8.2 混合架构——实际落地方案

实际量产自动驾驶系统几乎都采用混合架构,取各路线之长:

量产自动驾驶系统的混合架构 主流程: 模块化架构(感知 → 预测 → 规划 → 控制) 深度学习感知 轨迹预测 规则+RL 决策规划 PID/MPC 控制 V2X 路侧信息融合 云端 VLA 场景辅助 仅复杂场景接入 安全监控冗余层 典型量产方案 (2025): 感知/预测用深度学习,决策用规则+有限 RL,控制用经典方法 V2X 和 VLA 作为增强模块,安全监控层独立于主流程运行 世界模型逐步替代轨迹预测模块(如 OccWorld 预测占据场)

短期 (2025-2027): 模块化优化 + 端到端渗透

模块化架构仍是量产主力,但在感知和预测模块中端到端训练的占比持续提升。规划层面逐步引入隐式学习,RL 在决策场景中渐进落地。V2X 在中国城市试点范围扩大。

中期 (2027-2030): 世界模型 + VLA 辅助

世界模型的占据预测能力成熟,逐步替代传统的目标检测+轨迹预测流水线。VLA 大模型以"云端+车端"混合方式部署,处理长尾场景。混合架构中数据驱动的成分超越规则驱动。

长期 (2030+): 统一架构探索

端到端 + 世界模型 + VLA 的融合统一架构成为研究热点。可能的方向是"一个大型基础模型同时处理感知、推理、规划",类似自动驾驶的 GPT 时刻。但安全认证和计算效率仍是产业化核心瓶颈。

核心技术路径收敛预测

技术路线收敛趋势 纯模块化 2025 主力 模块化 + 端到端混合 2027 主力 学习驱动主导 2030 主力 通用驾驶基础模型 2035+ 展望 关键收敛趋势: 1. 感知层全面深度学习化,传统 CV 算法基本被替代 2. 预测层从"目标级轨迹预测"向"占据场联合预测"演进 3. 规划层从"规则为主"向"规则+学习混合"再向"学习者主导"演进 4. 安全层保持规则/模型独立验证,不随学习架构改变而改变

8.4 核心瓶颈与挑战

🛑

安全验证

学习系统的长尾行为无法穷举验证,需要新的安全论证方法论

🏊

计算效率

大模型车端部署面临算力、功耗、散热的物理约束

📋

数据闭环

长尾场景的数据采集、标注、训练需要完整的基础设施

⚙️

系统鲁棒性

对抗样本、传感器故障、通信中断、未知场景的应对能力

💡
总结:自动驾驶的技术路线正在从"规则驱动的模块化架构"向"数据驱动的学习架构"演进。未来的终极方案很可能是一个融合了模块化可解释性、端到端学习效率、世界模型预测能力、VLA 常识推理、V2X 超视距感知的综合系统,而安全验证将是决定自动驾驶规模化落地的"最后一公里"。

🏁 9. 总结与展望

自动驾驶技术正处于从"AI 辅助"到"AI 主导"的关键转折期。各条技术路线在竞争中相互借鉴、在融合中共同演进:

各路线发展趋势总结:

🏗️ 模块化架构:仍是量产基石,感知/预测模块逐步被深度学习替代,规划层保留规则+学习的混合架构

🤖 端到端学习:在感知+预测子任务中渗透率快速提升,"局部端到端"成为标准实践,全局端到端仍在验证

📡 V2X 车路协同:中国路线领先,逐步从"信息提示"升级为"协同感知+协同决策",需要基础设施持续投入

🌍 世界模型:从"目标检测+轨迹预测"范式向"占据场联合预测"范式过渡,是中期最具潜力的技术变革

📦 VLA 大模型:云端部署解决长尾场景,100ms-1s的推理延迟使其在非安全关键决策中先落地

最终建议

对工程团队的建议
1. 以模块化架构为基线构建系统,确保基本安全和可验证性
2. 在感知/预测模块逐步替换为端到端学习模型,提升场景覆盖率
3. 引入 V2X 信息作为感知增强,优先覆盖交叉口等高风险场景
4. 关注 占据预测世界模型技术进展,作为下一代预测模块的候选方案
5. 探索 VLA 大模型的云端辅助决策能力,用于复杂场景的决策建议

—— 自动驾驶的下一个十年,将是从"让机器看清路"到"让机器理解路"的跨越 ——

目录