港科大（广州）等联合发布多模态空间推理综述：为大模型画下空间理解的未来蓝图

我们生活在一个三维的世界里，理解空间关系是与生俱来的本能。但是，对于近年来飞速发展的大语言模型（LLM）而言，这似乎仍是一个不小的挑战。它们或许能对答如流、妙笔生花，但在被问及“桌子上的苹果左边是什么”这类问题时，却常常“犯迷糊”。

为了让AI真正理解并与物理世界交互，空间推理能力不可或缺。最近，来自香港科技大学（广州）、索菲亚大学、香港科技大学、华南理工大学、上海交通大学、比萨大学和特伦托大学等多个顶级研究机构的学者们，联手发布了一篇名为 《Multimodal Spatial Reasoning in the Large Model Era: A Survey and Benchmarks》 的重磅综述，系统性地梳理了当前大模型在多模态空间推理领域的进展、挑战与未来。

• 论文标题: Multimodal Spatial Reasoning in the Large Model Era: A Survey and Benchmarks

• 作者团队: Xu Zheng, Zihao Dongfang, Lutao Jiang, Boyuan Zheng, Yulong Guo, Zhenquan Zhang, Giuliano Albanese, Runyi Yang, Mengjiao Ma, Zixin Zhang, Chenfei Liao, Dingcheng Zhen, Yuanhuiyi Lyu, Yuqian Fu, Bin Ren, Linfeng Zhang, Danda Pani Paudel, Nicu Sebe, Luc Van Gool, Xuming Hu

• 机构: 香港科技大学（广州）、索菲亚大学、香港科技大学、华南理工大学、上海交通大学、比萨大学、特伦托大学

• 论文地址: https://arxiv.org/abs/2510.25760

• 项目主页: https://github.com/zhengxuJosh/Awesome-Spatial-Reasoning

这篇综述不仅对现有工作进行了归纳，还提供了一个开放的基准测试和代码库，旨在为该领域的研究者们提供一个坚实的基础和清晰的路线图。

空间推理：为什么重要？是什么？

空间推理是人类通过视觉、听觉等多种感官信息来理解和认知空间的基本能力。对于AI，尤其是在自动驾驶、机器人、增强现实等需要与物理世界深度交互的场景中，这种能力是实现智能化的关键。

论文首先明确了多模态空间推理的范畴，即模型需要从图像、视频、点云、音频、文本等异构输入中，推断出空间关系、位置和动作，并产生可验证的、空间上合理的输出。

论文的贡献：一张清晰的路线图

面对大模型空间推理领域方法众多但缺乏系统性梳理的现状，这篇综述做出的一项关键贡献是作者们构建了一个清晰的分类法（Taxonomy），将复杂的空间推理任务和技术系统地组织起来。

这张“科技树”将多模态空间推理划分为四大块：

1. 通用多模态大语言模型（MLLM）：关注如何通过后训练、模型架构设计和提升可解释性等方式，增强模型的通用空间推理能力。

2. 3D视觉：深入探讨了3D场景下的视觉定位（Grounding）、场景理解与问答（QA）、以及3D内容生成。

3. 具身智能（Embodied AI）：聚焦于更复杂的动态任务，如视觉-语言导航（VLN）和视觉-语言-动作（VLA）模型。

4. 新兴模态：探索了如何利用音频、第一视角视频等新传感信息来辅助空间理解。

通用MLLM的空间推理增强术

如何让一个通用的MLLM“开窍”，学会空间推理？论文总结了当前主流的几类方法。

• 测试时扩展（Test-Time Scaling）：包括提示工程（Prompt Engineering）、工具使用（Tool Use）等，无需重新训练模型，通过巧妙的输入设计或借助外部工具来提升性能。

• 后训练（Post-Training）：通过在特定的空间任务数据上进行监督微调（SFT）或强化学习（RL），来“教会”模型空间知识。

• 模型设计与可解释性：从模型架构层面进行改进，或研究模型为何在空间任务上失败，从而针对性地提出解决方案。

论文详细对比了各种提示工程方法、工具使用策略以及强化学习方法在空间推理任务上的应用，为研究者提供了丰富的“弹药库”。

从2D到3D：空间推理的进阶之路

如果说2D图像的空间推理是基础，那么3D世界的理解与交互则是大模型们正在努力攻克的下一座高峰。

论文重点梳理了3D空间中的三大核心任务：

• 3D视觉定位（3D Visual Grounding）：根据语言描述，在3D场景中找到对应的物体。这需要模型将语言概念与3D空间中的几何实体精确对齐。

• 3D场景推理与问答（3D Scene Reasoning and QA）：对3D场景提出问题，并由模型进行回答，这要求模型对场景的几何结构、物体关系有更深层次的理解。

• 3D生成（3D Generation）：根据文本或图像描述，生成全新的3D模型或场景布局。这不仅考验模型的空间想象力，还考验其对物理世界规律的把握。

迈向物理世界：具身智能中的空间推理

具身智能（Embodied AI）是AI研究的“圣杯”之一，它要求智能体（Agent）能够在物理环境中执行任务。这背后，空间推理能力是不可或缺的驱动力。

论文回顾了VLA（视觉-语言-动作）和VLN（视觉-语言-导航）等主流具身任务中的空间推理研究。例如，如何让机器人根据“把桌上的红苹果放到冰箱里”这样的指令，规划出合理的路径并完成动作。作者们对比了不同的模型在引入3D信息、多任务训练等方面的策略和效果。

新的感官：视频和音频中的空间线索

除了传统的图像和文本，视频和音频也蕴含着丰富的空间信息。比如，通过声音的远近、方位变化，我们可以判断声源的位置和移动轨迹。

论文专门开辟章节，探讨了在视频问答和音频问答中，模型如何利用时空线索和声学线索进行推理。这为多模态感知开辟了新的可能性。

基准与挑战：衡量进步的标尺

没有度量，就无法进步。论文的另一大亮点是全面梳理了多模态空间推理的基准（Benchmarks）。作者们绘制了一张时间线，清晰地展示了相关基准的演进历程，从早期的图文对，到如今覆盖视频、音频、3D、交互等多种模态和任务的复杂评测。

同时，论文也汇总了当前SOTA模型在一些主流视频-文本空间推理基准上的表现，让我们可以直观地看到现有技术的水平。

最后，论文总结了该领域面临的核心挑战，并指明了未来的研究方向，例如：

• 第一视角（Egocentric）的推理：如何从“我”的视角去理解世界。

• 高效可扩展的3D表示：如何更好地在模型中表征复杂的3D世界。

• 具身智能的泛化：如何让智能体在未知环境中也能表现出色。

• 新传感器的融合：如何利用热成像、雷达、全景相机等更多样的传感器。

• 统一的评测基准：建立更全面、更贴近真实的评测标准。

总结

CV君认为，这篇综述为关注多模态和具身智能领域的研究者提供了一份宝贵的“导航图”。它不仅告诉我们现在身处何方，更重要的是，它指明了通往“星辰大海”的几条可能路径。

大家对这个领域有什么看法？欢迎在评论区留下你的看法！