阿里开源Qwen-Drive-1.0-4B：首个面向自动驾驶的视觉语言基础模型

阿里千问团队联合华中科技大学开源Qwen-Drive-1.0-4B，基于Qwen3.5-4B构建，统一3D感知、视觉问答与运动规划于单一框架。NAVSIM v1.1 PDMS达90.7分，Waymo Open Dataset E2E达7.91分。

阿里千问团队联合华中科技大学开源Qwen-Drive-1.0-4B——首个面向自动驾驶的视觉语言基础模型，将3D感知、驾驶场景理解与车辆运动规划整合进单一视觉语言模型框架，是首个面向自动驾驶的视觉语言基础模型，Apache 2.0开源，对自动驾驶AI化具有参考价值。s-♪aIDeepTHink.cn

一、架构变革

架构上最聪明的决策是拒绝遗忘。把通用模型专项化训练的经典陷阱是灾难性遗忘——教会开车就忘了看世界，而驾驶恰恰充满长尾罕见场景，需要通用常识兜底。

1. 不改动骨干

感知/问答/规划在共享表征上统一，规避传统管线“每层接口丢信息”的问题；

2. Qwen-Drive 用分阶段混合训练

使用“驾驶监督数据 + 通用视觉语言数据”解决：

先在预训练阶段统一3D感知与视觉问答，再扩展至运动规划，同时保持VLM原始架构不变。
规划专家通过交叉注意力直接读取骨干缓存的 KV 值生成路点，不需要额外投影层；各模块可独立验证、独立替换、独立审计。输出为5秒时程、10Hz频率的自车轨迹。

3. 架构图s-♪aIDeepTHink.cn

4. 参数表

参数	数值
基座模型	Qwen3.5-4B
参数量	4B
感知模块	BEV Perception Head（3D检测+语义占据+BEV分割）
规划模块	Diffusion Transformer（流匹配生成5秒轨迹@10Hz）
NAVSIM v1.1 PDMS	90.7（best-of-6, RL版）
Waymo Open Dataset E2E	7.91（best-of-6, RL版）
驾驶VQA得分	69.43（SFT版）
许可	Apache 2.0
部署要求	GPU ≥ 24GB显存