原创 让你更懂AI的 2025-09-24 23:13 北京
从“文本推理”到“视觉推理”
引言
视觉语言动作模型（VLA）凭借其强大的通用知识与推理能力，正成为推动自动驾驶技术发展的关键力量。然而，当前主流方法在进行决策时，大多依赖于一种“文本式”的思维链（Chain-of-Thought，CoT）。
这种范式将复杂的动态驾驶场景压缩为离散的语言描述或坐标符号，再进行逻辑推理。这无异于将驾驶员的视觉直觉强行转译为离散的语言符号，不仅会导致时空关系模糊、细节信息丢失，也为模型的决策可靠性带来了瓶颈。
我们不禁要问：自动驾驶系统能否摆脱对抽象符号的依赖，像人类驾驶员一样，在决策前于脑海中进行一次直观的、可视化的场景推演，从而做出更精准、更安全的规划？
为了回答这一问题，我们荣幸地推出 FSDrive（FutureSightDrive），一个旨在让自动驾驶学会“视觉思考”的全新框架。其核心是一种我们首创的“时空思维链”（Spatio-temporal CoT）推理机制，它将模型的中间思考过程从抽象的文本，转变为对未来场景的具象化、多层次的视觉预测。
项目主页：
https://miv-xjtu.github.io/FSDrive.github.io/
论文链接：
https://arxiv.org/abs/2505.17685
代码链接：
https://github.com/MIV-XJTU/FSDrive
关键词：视觉-语言-动作模型（VLA）、世界模型（World Model）、视觉推理、时空思维链（Spatio-temporal CoT）、自动驾驶
▲ 图1：不同思维链（CoT）范式对比。传统文本 CoT（上）存在信息抽象问题；图文混合 CoT（中）面临模态不一致的挑战；而 FSDrive 提出的时空 CoT（下）在统一的视觉空间内进行推理，信息更丰富且无模态鸿沟。
FSDrive的核心创新：从文本推理到视觉预演
2.1 当前挑战：文本思维链的内在局限
传统的 VLM 在自动驾驶中的应用，遵循着“视觉感知 → 文本描述 → 文本推理 → 动作规划”的链路。此模式存在两大根本性问题：
1. 信息抽象与损耗：高维、连续的视觉信息在被转译为低维、离散的文本时，大量关于纹理、光照、相对位置与动态趋势的精细信息被不可逆地丢失。
2. 模态鸿沟与偏差：在视觉与文本两种截然不同的模态间反复转换，容易引入语义偏差，降低了端到端推理的准确性与可靠性。
2.2 FSDrive的解法：时空思维链（Spatio-temporal CoT）
FSDrive 摒弃了生成中间文本的思路，创新性地提出时空思维链，即直接生成一幅包含未来多层次信息的“统一预测图”作为思考的中间步骤。这幅“思考图”并非简单的未来画面，而是承载了模型的双重角色：
作为世界模型（World Model）：模型通过生成这幅图像，对未来世界的物理状态进行综合预测。这包括：
时间维度：通过预测常规的未来像素，表征场景的动态演化。
空间维度：通过在图像上直接绘制出未来的车道线、3D 障碍物框等关键感知元素（以红色线条标出），显式地表达对未来空间结构（如可行驶区域、物体位置）的判断。
作为逆动力学模型（Inverse Dynamics Model）：在生成了这幅“未来蓝图”后，模型会将其作为推理依据，结合当前的观测，反向推导出实现这一最优未来所必需的行驶轨迹。
通过这种设计，FSDrive 构建了一个端到端的视觉因果推理闭环（观察 → 视觉思考 → 决策），使整个过程在统一的视觉空间内完成，从根本上消除了信息损耗与模态鸿沟。
2.3 实现路径：如何赋予VLM“视觉想象力”？
为了让一个标准的、以理解为主的 VLM “解锁”高质量的视觉生成能力，我们设计了一套高效的训练范式：
1. 统一的视觉生成与理解预训练：我们提出了一种新颖的预训练范式，仅需对现有 VLM 的词表进行少量扩展，便可在完整保留其强大语义理解能力的同时，低成本、高效率地激活其视觉生成潜力。
2. 由简到繁的渐进式生成策略：直接生成复杂且符合物理规律的未来场景是极其困难的。因此，我们引入了渐进式生成策略。在训练中，模型首先学习生成未来场景的“骨架”——即代表物理约束的车道线和 3D 检测框，然后再基于这个骨架“填充”场景的像素细节。这种由粗到精的生成过程，确保了预测结果的物理真实性和结构准确性。
▲ 图2：FSDrive 整体框架。左侧为统一预训练阶段，旨在同时激活模型的视觉理解与生成能力。右侧为推理阶段，模型首先生成作为“时空思维链”的未来预测图，再基于此进行轨迹规划。
实验结果与分析
我们在 nuScenes 数据集上对 FSDrive 进行了轨迹规划、未来帧生成、场景理解等多维度的全面评估，结果有力地证明了其先进性。
3.1 轨迹规划性能：安全性与准确性双重领先
在核心的轨迹规划任务中，FSDrive 表现出卓越的性能。如下表所示，无论是否使用自车状态（ego status）作为输入，FSDrive 在平均 L2 误差和碰撞率等关键安全指标上均达到了业界领先（SOTA）水平，充分验证了“视觉预演”对于提升规划安全性的巨大价值。
3.2 未来场景生成质量：媲美专用生成模型
作为世界模型，FSDrive 生成的未来场景质量同样出色。如下图所示，尽管 FSDrive 采用了计算效率更高的自回归生成方式，其生成图像的 FID 指标仍优于众多专为生成任务设计的扩散模型。这证明了我们所提预训练范式在激活 VLM 生成能力上的高效与成功。
3.3 场景理解能力：生成与理解协同增强
赋予模型生成能力是否会削弱其原有的理解能力？实验给出了否定的答案。在权威的 DriveLM 基准测试中，FSDrive 在多项视觉问答和场景描述任务上均取得了优异成绩，证明其实现了视觉生成与理解能力的统一，并达到了协同增强的效果。
3.4 可视化分析：让思考过程“眼见为实”
下图直观地展示了时空思维链的实际作用。通过生成包含未来车道线和障碍物位置的“思考图”，FSDrive 能够清晰地预见潜在风险，并提前规划出更安全的规避轨迹，展现了强大的视觉因果推理能力。
结论
本文提出了 FSDrive，一个基于时空思维链的自动驾驶规划新框架，它首次赋予了视觉语言模型进行“视觉预演”的能力。
通过将中间推理过程统一在图像这一单一模态下，FSDrive 不仅根除了跨模态转换带来的信息瓶颈，更建立了一套端到端的视觉因果推理流程。我们提出的统一预训练范式和渐进式生成策略，为高效激活 VLM 的视觉生成能力提供了新的思路。
大量实验证明，FSDrive 通过建立与物理世界更直接的像素级关联，而非依赖抽象的语言符号，正有力地推动自动驾驶技术向更高级、更可靠的视觉智能阶段迈进。
更多阅读
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。
📝 稿件基本要求：
• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注
• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题
• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道：
• 投稿邮箱：hr@paperweekly.site
• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿
△长按添加PaperWeekly小编
🔍
现在，在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
·