自动驾驶技术路线全景分析
全面梳理自动驾驶核心技术路线:从经典模块化架构、端到端学习,到前沿的世界模型、VLA 大模型和车路协同。深入分析每种方案的框架原理、代表工作和未来趋势。
📖 1. 概述
自动驾驶是人工智能与汽车工程的交叉领域,其核心目标是让车辆在复杂动态环境中实现自主导航。经过数十年发展,目前形成了多条并行演进的技术路线,各路线在系统架构、算法范式、传感器配置等方面存在根本性差异。
当前主流技术路线可归纳为以下四类:
模块化架构
传统感知-预测-规划-控制流水线,各模块独立设计
端到端学习
从传感器输入直接映射到控制指令,统一神经网络
车路协同 (V2X)
车辆与基础设施通信,扩大感知范围
世界模型
基于环境预测与推理的下一代智能架构
自动驾驶技术路线演进
🏗️ 2. 模块化架构
2.1 系统框架
模块化架构是自动驾驶领域的经典技术路线,将驾驶任务分解为感知、预测、规划、控制四个独立模块,每个模块内部可进一步拆分子任务。这种"分而治之"的策略降低了工程复杂度,便于调试和验证。
模块化流水线架构
2.2 感知模块
感知模块负责从传感器数据中提取环境语义信息,是自动驾驶系统的眼睛。其核心任务包括目标检测与识别、语义分割、可行驶区域估计、车道线检测等。
经典感知架构
利用深度神经网络从图像中检测车辆、行人、障碍物等目标的2D边界框或3D位置。
其中 \((x,y,w,h)\) 为边界框,\(c\) 为目标类别,\(p\) 为置信度。3D检测额外回归深度和朝向角:
代表方法:YOLO 系列(单阶段)、Faster R-CNN(两阶段)、DETR(Transformer 端到端)、BEVFormer(BEV 空间融合)。
将多视角相机/LiDAR 特征变换到统一的鸟瞰图空间,为后续规划提供直观的环境表示。
关键技术:
- IPM (Inverse Perspective Mapping):逆透视变换,将图像映射到地平面
- Transformer-based:如 BEVFormer 使用可变形注意力将图像特征投影到 BEV 网格
- LSS (Lift-Splat-Shoot):深度估计 + 逐像素投影 + BEV 池化
利用 Camera、LiDAR、Radar 的互补特性实现鲁棒感知。
| 传感器 | 优势 | 劣势 |
|---|---|---|
| Camera | 纹理丰富、色彩信息、成本低 | 受光照影响大、深度估计差 |
| LiDAR | 精确 3D 信息、不受光照影响 | 成本高、无色彩、雨雾退化 |
| Radar | 全天候、直接测速、成本适中 | 分辨率低、无垂直信息 |
融合策略:前融合(原始特征级融合)、后融合(决策级融合)、特征级融合。当前主流趋势是特征级深度融合(如 BEV 空间的跨模态对齐)。
2.3 预测模块
预测模块根据历史轨迹和环境上下文,推断交通参与者的未来行为与轨迹。这是规划决策的基础,也是模块化架构中最具挑战的环节。
单目标轨迹预测
给定历史轨迹 \(\mathcal{H}_i\) 和上下文 \(\mathcal{C}\)(地图、其他目标),预测未来 \(T\) 步的状态序列。
代表方法:Social LSTM、Trajectron++、Scene Transformer。
多模态预测
输出 \(K\) 条可能的轨迹及其概率 \(\pi^{(k)}\)。处理驾驶场景的高度不确定性(如被遮挡车辆可能直行或转弯)。
2.4 规划模块
规划模块是自动驾驶的大脑,可分为行为决策、运动规划和轨迹优化三个层次。
规划层次结构
关键规划算法
| 算法 | 类型 | 原理 | 优点 | 缺点 |
|---|---|---|---|---|
| 有限状态机 (FSM) | 行为决策 | 预定义状态与转移规则 | 简单、可解释 | 扩展性差、长尾场景 |
| Hybrid A* | 路径规划 | A* + 连续状态空间 + Reeds-Shepp | 保证可通行性 | 非最优 |
| RRT* | 路径规划 | 渐进最优的随机采样算法 | 概率完备 | 收敛慢 |
| ST 图 + 速度规划 | 速度规划 | 在 ST 图中搜索安全的 s-t 曲线 | 直观处理动态障碍物 | 忽略横向运动耦合 |
| MPC 轨迹优化 | 轨迹优化 | 滚动时域带约束优化 | 最优+约束+预测 | 计算量大 |
| 时空联合优化 | 联合优化 | 同时优化路径和速度 (如 Frenet 框架) | 全局最优 | 高维优化 |
2.5 控制模块
控制模块接收规划模块生成的参考轨迹,输出油门、刹车、转向等执行器指令,使车辆精确跟踪目标路径。
横向控制
控制转向角跟踪参考路径,经典方法包括 Pure Pursuit、Stanley 控制器、LQR 横向控制、MPC 横向控制。
纵向控制
控制速度/加速度跟踪参考速度曲线,包括 PID 速度控制、MPC 纵向控制、ACC(自适应巡航控制)。
耦合控制
纵横向联合控制,考虑侧向加速度对纵向动力学的影响,常见于高速场景和极限工况。
横向控制经典方法对比
| 方法 | 模型 | 特点 | 适用场景 |
|---|---|---|---|
| Pure Pursuit | 几何模型 | 前视点跟踪,简单有效 | 低速、曲率变化小 |
| Stanley | 几何模型 | 横向偏差+航向偏差反馈 | 一般道路 |
| LQR | 线性动力学 | 最优状态反馈,忽略约束 | 高速、平缓道路 |
| MPC | 动力学模型 | 显式约束+滚动优化 | 复杂道路、极限工况 |
🤖 3. 端到端学习路线
3.1 核心理念
端到端自动驾驶的核心理念是:用一个统一的神经网络直接从传感器输入(图像、LiDAR 点云等)映射到控制指令(转向角、油门、刹车),取代模块化架构中的感知-预测-规划-控制流水线。
模块化架构
每个模块独立标注/训练/调优,累积误差传递,需要大量人工设计规则。
端到端架构
可微分的完整 pipeline,直接从数据中学习驾驶策略,无需人工标注中间结果。
端到端的学习框架有两种主要形式:直接端到端(从传感器到控制)和条件端到端(从传感器到中间表示再到控制,但整体可微)。
3.2 发展历程
Pomerleau 在卡内基梅隆大学提出的 ALVINN (Autonomous Land Vehicle In a Neural Network) 是端到端自动驾驶的鼻祖。
- 输入:30x32 像素的单目图像 + 激光测距
- 输出:道路方向(转向角度)
- 网络:三层全连接神经网络(约 1000 个神经元)
- 训练:人工驾驶数据模仿学习
- 结果:在简单道路上实现约 70 mph 的自主行驶
ALVINN 证明了端到端学习的可行性,但受限于当时的计算能力和数据规模。
NVIDIA 提出的 PilotNet 将端到端自动驾驶重新带回主流视野。
架构:9 层卷积网络(Convolutional Neural Network),包含归一化层、5 个卷积层、3 个全连接层。
训练数据:3 天人工驾驶数据,约 72 小时,包括晴天/阴天/夜间/雨天等不同条件。
创新:使用侧置摄像头数据模拟"从错误中学习"——当车辆偏离车道时,侧置摄像头的视角被标记为"需要校正",相当于自动生成纠正样本。
Transformer、扩散模型、大语言模型等技术被引入端到端自动驾驶:
- UniAD (2022, 清华/商汤):首个以 query 为统一接口的端到端框架,将感知、预测、规划整合为 Transformer 架构
- GPT-Driver (2023, 微软):将运动规划转化为语言建模问题,用 LLM 生成轨迹
- DriveVLM (2024, 清华):融合视觉语言模型 (VLM) 进行驾驶场景理解和决策
- AD-MoE (2024, 百度):混合专家模型处理多种驾驶场景
3.3 主流端到端框架
UniAD (Unified Autonomous Driving)
UniAD 是首个以 query 统一各模块的端到端框架,将感知、预测、规划整合在一个 Transformer 架构中。
# UniAD 核心架构示意(伪代码)
class UniAD(nn.Module):
def __init__(self):
self.backbone = BEVFormer() # BEV 特征提取
self.track_query = TrackQuery() # 跟踪 Query
self.map_query = MapQuery() # 地图 Query
self.motion_query = MotionQuery() # 运动 Query
self.planning_head = PlanningHead() # 规划头
def forward(self, imgs, pts):
# Step 1: 提取 BEV 特征
bev_feat = self.backbone(imgs, pts)
# Step 2: 感知 - 检测和跟踪目标
tracks = self.track_query(bev_feat)
map_elems = self.map_query(bev_feat)
# Step 3: 预测 - 基于 track + map 预测未来轨迹
motions = self.motion_query(tracks, map_elems, bev_feat)
# Step 4: 规划 - 基于感知+预测结果生成自车轨迹
plan = self.planning_head(motions, map_elems, bev_feat)
return plan
关键创新:
- 统一的 query 机制:从感知到规划的所有信息通过 query 传递,整个系统端到端可微
- Track-query:负责检测和跟踪所有交通参与者
- Map-query:负责建模道路结构(车道线、可行驶区域等)
- Motion-query:基于 track 和 map 信息预测每个参与者的未来运动
- Occ-query(Occupancy):对遮挡区域和不确定性进行显式建模
DriveVLM: 视觉语言模型融合
DriveVLM 将视觉语言模型(VLM)与传统的规划模块相结合,利用大模型的常识推理能力处理复杂交通场景。
工作流程:
Step 1: 场景描述
VLM 对当前场景进行文本描述,如"前方 50 米处有一辆公交车正在靠站,右侧有骑行者接近"
Step 2: 链式推理
VLM 进行多步推理:"公交车可能突然开门 → 需要保持安全距离 → 建议减速并轻微左偏"
Step 3: 轨迹生成
将推理结果传递给传统的轨迹优化模块生成具体轨迹
3.4 端到端架构对比
| 框架 | 年份 | 基础架构 | 输入 | 输出 | 特点 |
|---|---|---|---|---|---|
| ALVINN | 1988 | 全连接网络 | 30x32 图像 | 转向角 | 开创性工作 |
| PilotNet | 2016 | CNN | 单目相机 | 转向角 | 工业化尝试 |
| Conditional Imitation | 2017 | CNN + 命令 | 图像 + 导航指令 | 控制指令 | 条件模仿学习 |
| UniAD | 2022 | Transformer | 多相机 | 轨迹 + 控制 | 统一 query 端到端 |
| VAD (Vectorized AD) | 2023 | Transformer | 多相机 | 轨迹 | 矢量化场景表示 |
| DriveVLM | 2024 | VLM + Planner | 多相机 | 轨迹 + 文本推理 | 大模型常识推理 |
📡 4. 车路协同 (V2X) 路线
4.1 基本概念
车路协同 (V2X, Vehicle-to-Everything) 通过无线通信技术实现车辆与外界的信息交互,突破单车智能的感知局限。其核心理念是"聪明的车 + 智慧的路"。
V2V
车-车通信,共享位置、速度、意图、意图等信息
V2I
车-基础设施通信,接收信号灯、拥堵、施工等路况
V2N
车-云通信,获取超视距路况、区域调度、HD 地图更新
V2P
车-行人通信,行人手机 APP 广播位置,车辆预警
V2X 系统架构
4.2 关键技术
通信技术
| 维度 | C-V2X (LTE-V / NR-V2X) | DSRC (802.11p) |
|---|---|---|
| 技术路线 | 蜂窝通信 (3GPP) | WLAN 家族 |
| 时延 | < 20ms (LTE-V) / < 5ms (NR-V2X) | < 10ms |
| 通信距离 | > 500m (直连) / 广域 (蜂窝) | < 300m |
| 数据速率 | 10-100 Mbps | 6-27 Mbps |
| 演进路径 | 5G NR 持续演进 | 已冻结,无后续版本 |
| 产业支持 | 中国车联网主力路线 | 欧美部分存量部署 |
协同感知融合
V2X 的核心价值在于 协同感知——将路侧传感器和周围车辆感知结果融合,消除单车盲区。
融合架构:
- 数据级融合:传输原始 LiDAR 点云或图像特征,精度最高但带宽要求大
- 目标级融合:传输检测到的目标列表(位置、速度、类别),带宽友好
- 混合融合:对关键区域(如遮挡区域)使用数据级,其他区域使用目标级
4.3 典型应用场景
V2I 路侧单元通过摄像头/雷达检测交叉口视野盲区的行人、非机动车,实时发送至接近车辆:
- RSU 检测到盲区有行人即将穿越路口
- RSU 通过 V2I 向接近车辆发送 "减速预警"
- 车载系统提醒驾驶员或自动减速
V2V 通信使多车形成紧密编队,跟随车与前车距离缩短至 10-20 米:
- 头车加速/刹车信息通过 V2V 在 1ms 内广播给所有跟随车
- 编队整体反应时间从人的 1-1.5s 降至 0.1s
- 降低跟随车 10-20% 燃油消耗(减少空气阻力)
行人手机 APP 通过 V2P/V2N 广播位置,车辆即使在没有视觉接触的情况下也能感知行人:
- 混合精度距离模型:考虑 GPS 误差、通信时延、行人移动速度
- 碰撞风险评估:计算 TTC (Time-to-Collision),当 TTC < 阈值时触发预警
- 车内预警方式:HUD 视觉提示 + 声音告警 + 可选主动制动
🧠 5. 强化学习路线
5.1 基本原理
强化学习 (Reinforcement Learning, RL) 将自动驾驶建模为序列决策问题:智能体(自动驾驶车辆)通过与环境(交通场景)交互,学习最大化累积奖励的策略。
其中 \(\pi(a|s)\) 是策略(从状态到动作的映射),\(r(s, a)\) 是奖励函数,\(\gamma\) 是折扣因子。
值函数 (Value-Based)
学习状态-动作值函数 \(Q^*(s, a)\),选择最大化 Q 值的动作:
代表算法:DQN, Double DQN, Dueling DQN
策略梯度 (Policy-Based)
直接参数化策略 \(\pi_\theta(a|s)\),沿梯度 \(\nabla_\theta J(\theta)\) 更新:
代表算法:PPO, SAC, TRPO
演员-评论家 (Actor-Critic)
结合值函数和策略梯度,actor 选择动作,critic 评估动作:
代表算法:A3C, SAC, TD3
5.2 自动驾驶中的 RL 挑战
| 挑战 | 描述 | 解决方法 |
|---|---|---|
| 安全约束 | 探索阶段可能发生碰撞 | 安全强化学习 (Safe RL)、约束 MDP |
| 奖励设计 | 稀疏奖励导致学习困难 | 奖励塑形、逆强化学习 (IRL)、模仿学习预训练 |
| 样本效率 | 真实环境中训练成本极高 | Sim-to-Real、域随机化、世界模型增强 |
| 多智能体交互 | 其他车辆策略动态变化 | MARL (多智能体 RL)、对手建模 |
| 分布偏移 | 仿真与现实场景差异 | 域自适应、PRM (预测性奖励模型) |
5.3 典型 RL 自动驾驶架构
当前最成功的 RL 自动驾驶应用是 Sim-to-Real 模仿学习 + 强化学习微调 的混合路线:
奖励函数设计示例
一个典型的自动驾驶 RL 奖励函数包含多个组成部分:
5.4 强化学习在自动驾驶中的应用领域
决策与换道
学习何时换道、如何与相邻车辆博弈,经典任务如高速公路换道决策
泊车规划
学习复杂窄车位的运动规划策略,处理各种边角情况
能量优化
学习最优加速/制动策略降低能耗,尤其适合混动/电动车辆
行为人建模
学习其他道路使用者的行为模式,用于预测模块或仿真环境
🌍 6. 世界模型路线
6.1 核心概念
世界模型 (World Model) 是近年兴起的下一代自动驾驶范式,其核心理念是:构建一个能够预测环境未来演变的内在世界模型,使车辆不仅看到当前场景,还能"想象"多种可能的未来,从而做出更明智的决策。
传统方法
"看到什么就是什么"——感知当前状态,预测下一帧轨迹,规划对应路径。
世界模型方法
"想象可能发生什么"——构建环境的隐式表示,推演多种可能的发展方向,选择最优应对策略。
6.2 世界模型的框架
世界模型通常包含三个核心组件:
6.3 代表性工作
Dreamer 系列是隐空间世界模型的代表性工作,从 DreamerV1(学习 Latent Dynamics)到 DreamerV3(通用算法、无需调参):
DreamerV3 的核心组件:
- RSSM (Recurrent State-Space Model):循环状态空间模型,建模随机+确定性的隐状态演化
- 世界模型学习:联合学习 Encoder、Dynamics Model、Reward Model、Continue Model
- 行为学习:在隐空间中进行"想象 Rollout",使用 Actor-Critic 学习最优策略
- 关键技巧:Symlog 变换(处理大范围奖励值)、自由信息量(Free Bits)正则化
OccWorld 是专为自动驾驶设计的3D 占据预测世界模型:
核心思想:在 BEV (Bird's-Eye-View) 占据空间中预测未来场景的 3D 占用网格演变。
架构特点:
- 使用 3D 稀疏卷积处理占据网格数据
- 预测未来 N 帧的占据网格(多模态输出)
- 可应用于运动规划:在预测的未来占据图中搜索无碰撞轨迹
- 支持多模态预测(直行、减速、转向等不同情境下的未来占据)
GAIA-1 (Generative AI for Autonomy) 是一个 自动驾驶视频生成世界模型:
- 输入:视频序列 + 文本指令 + 自车控制信号
- 输出:多种可能的未来视频场景
- 架构:基于 Transformer 的因果模型,类似于视频 GPT
- 能力:生成高质量的未来驾驶视频,支持条件控制(天气、交通密度等)
- 应用:策略学习(模型预测控制)、场景仿真(数据增强)、规划验证
6.4 世界模型的优势
| 维度 | 传统模块化 | 世界模型 |
|---|---|---|
| 场景理解 | 离散目标检测 + 语义分割 | 连续占据场 + 隐式表示 |
| 未来预测 | 独立预测每个目标的轨迹 | 联合预测场景整体演变 |
| 不确定性 | 有限的概率输出 | 内在概率生成模型 |
| 规划方式 | 显式轨迹优化 | 隐空间 Rollout + 决策 |
| 数据效率 | 需要大量标注 | 可以利用无标注数据(自监督) |
| 可解释性 | 模块清晰 | 隐空间解释困难 |
📦 7. VLA: 视觉-语言-行动大模型
7.1 VLA 的概念
VLA (Vision-Language-Action Model) 是将视觉理解、语言推理、行动生成三者融合的新一代自动驾驶框架。它利用预训练的大语言模型(LLM)和视觉语言模型(VLM)的常识推理能力,弥补传统驾驶系统的场景理解盲区。
VLA 架构层次
7.2 VLA 的工作原理
VLA 通过多模态对齐将视觉特征与语言 token 对齐,使 LLM 能够"看懂"驾驶场景并进行推理:
关键设计点:
- 视觉 Tokenization:将多视角图像通过 ViT/VLM 编码器转化为 256-1024 个视觉 token,与 LLM 的文本 token 序列拼接
- Chain-of-Thought (CoT) 推理:LLM 首先生成中间推理步骤(场景描述、风险评估、候选决策),再输出最终行动
- 行动空间定义:行动输出可以是离散的(加速、制动、转向)或连续的(轨迹点参数、曲率、速度)
- 对齐训练:需要通过多模态数据(图像+文本+行动三元组)进行指令微调
7.3 VLA vs 传统路线
| 对比维度 | 传统模块化方案 | VLA 大模型方案 |
|---|---|---|
| 长尾场景处理 | 需人工编写规则 | 利用大模型内置常识推理 |
| 场景理解深度 | 离散类别标签 | 丰富的语义描述与关系推理 |
| 可解释性 | 模块输出可观察 | CoT 推理过程可读 |
| 泛化能力 | 需针对新场景重新训练 | 零样本/少样本泛化潜力大 |
| 推理时延 | < 50ms | 100ms - 数秒 |
| 计算资源 | 单个 Orin (254 TOPS) | 需要多卡/云端推理 |
| 安全可认证 | 可形式化验证 | 黑盒推理难以认证 |
📊 8. 技术路线对比与趋势
8.1 多维度对比
| 维度 | 模块化架构 | 端到端学习 | V2X 车路协同 | 世界模型 | VLA 大模型 |
|---|---|---|---|---|---|
| 成熟度 | ⭐⭐⭐⭐⭐ | ⭐⭐⭐ | ⭐⭐⭐ | ⭐⭐ | ⭐⭐ |
| 可解释性 | 高 | 低 | 高 | 中 | 中 |
| 计算成本 | 中 | 高 | 中(含通信) | 极高 | 极高 |
| 车端实时性 | ✅ 可实现 | ✅ 有限制 | ✅ 可实现 | ❌ 困难 | ❌ 困难 |
| 长尾场景 | 弱(需规则补丁) | 中(需数据覆盖) | 强(路侧辅助) | 中(推理能力) | 强(常识推理) |
| 安全认证 | 相对容易 | 困难 | 相对容易 | 困难 | 极困难 |
| 量产应用 | Tesla、Waymo、百度 | Wayve、部分场景 | 中国试点城市 | Demo 阶段 | Demo 阶段 |
| 标注需求 | 大量逐模块标注 | 驾驶数据 | 中 | 无标注/自监督 | 图文对 + 驾驶数据 |
| 数据效率 | 低 | 中 | 中 | 高(利用无标注数据) | 高(预训练知识迁移) |
8.2 混合架构——实际落地方案
实际量产自动驾驶系统几乎都采用混合架构,取各路线之长:
8.3 未来趋势预测
短期 (2025-2027): 模块化优化 + 端到端渗透
模块化架构仍是量产主力,但在感知和预测模块中端到端训练的占比持续提升。规划层面逐步引入隐式学习,RL 在决策场景中渐进落地。V2X 在中国城市试点范围扩大。
中期 (2027-2030): 世界模型 + VLA 辅助
世界模型的占据预测能力成熟,逐步替代传统的目标检测+轨迹预测流水线。VLA 大模型以"云端+车端"混合方式部署,处理长尾场景。混合架构中数据驱动的成分超越规则驱动。
长期 (2030+): 统一架构探索
端到端 + 世界模型 + VLA 的融合统一架构成为研究热点。可能的方向是"一个大型基础模型同时处理感知、推理、规划",类似自动驾驶的 GPT 时刻。但安全认证和计算效率仍是产业化核心瓶颈。
核心技术路径收敛预测
8.4 核心瓶颈与挑战
安全验证
学习系统的长尾行为无法穷举验证,需要新的安全论证方法论
计算效率
大模型车端部署面临算力、功耗、散热的物理约束
数据闭环
长尾场景的数据采集、标注、训练需要完整的基础设施
系统鲁棒性
对抗样本、传感器故障、通信中断、未知场景的应对能力
🏁 9. 总结与展望
自动驾驶技术正处于从"AI 辅助"到"AI 主导"的关键转折期。各条技术路线在竞争中相互借鉴、在融合中共同演进:
🏗️ 模块化架构:仍是量产基石,感知/预测模块逐步被深度学习替代,规划层保留规则+学习的混合架构
🤖 端到端学习:在感知+预测子任务中渗透率快速提升,"局部端到端"成为标准实践,全局端到端仍在验证
📡 V2X 车路协同:中国路线领先,逐步从"信息提示"升级为"协同感知+协同决策",需要基础设施持续投入
🌍 世界模型:从"目标检测+轨迹预测"范式向"占据场联合预测"范式过渡,是中期最具潜力的技术变革
📦 VLA 大模型:云端部署解决长尾场景,100ms-1s的推理延迟使其在非安全关键决策中先落地
最终建议
1. 以模块化架构为基线构建系统,确保基本安全和可验证性
2. 在感知/预测模块逐步替换为端到端学习模型,提升场景覆盖率
3. 引入 V2X 信息作为感知增强,优先覆盖交叉口等高风险场景
4. 关注 占据预测世界模型技术进展,作为下一代预测模块的候选方案
5. 探索 VLA 大模型的云端辅助决策能力,用于复杂场景的决策建议
—— 自动驾驶的下一个十年,将是从"让机器看清路"到"让机器理解路"的跨越 ——