ToolsAi

CV君 2025-10-10 14:51 江苏

一文读懂机器人通用模型VLA的全技术栈。

当大语言模型（LLM）和视觉语言模型（VLM）的能力不断溢出到机器人领域，一个激动人心的新方向——视觉-语言-动作（Vision-Language-Action, VLA）模型，正成为通往通用机器人之路的关键钥匙。最近，来自东京大学、牛津大学和德克萨斯大学奥斯汀分校的研究者们联手，在《IEEE Access》上发表了一篇极为全面的综述，系统性地梳理了VLA模型的全貌。

这不仅仅是一篇简单的文献回顾，更是一份面向真实世界应用的“全栈式”指南，涵盖了从软件算法到硬件平台、从数据收集到模型评估的方方面面。CV君觉得，对于任何想要了解或投身于具身智能领域的研究者和工程师来说，这篇论文都将是一份宝贵的参考资料。

论文: Vision-Language-Action Models for Robotics: A Review Towards Real-World Applications
作者: Kento Kawaharazuka, Jihoon Oh, Jun Yamada, Ingmar Posner, Yuke Zhu
机构: 东京大学、牛津大学、德克萨斯大学奥斯汀分校
论文地址: https://arxiv.org/abs/2510.07077
项目主页: https://vla-survey.github.io

VLA模型：机器人通往通用之路的基石

在过去，机器人系统通常将感知、语言理解和动作执行解耦处理，这限制了其在复杂、未知任务中的泛化能力。而VLA模型的出现，旨在打破这些模态之间的壁垒。

简单来说，VLA模型是一个统一的端到端框架，它接收视觉观察（看什么）和自然语言指令（做什么）作为输入，并直接生成机器人的控制动作（怎么做）。其核心目标是学习一个能够跨越不同任务、物体、机器人形态和环境的通用策略，从而让机器人仅需少量甚至无需额外的任务数据，就能灵活、可扩展地部署于真实世界。

这篇综述的结构非常清晰，从VLA模型面临的核心挑战出发，系统地回顾了其发展历程、关键技术和未来方向。

VLA模型的演进之路

VLA模型的发展并非一蹴而就，论文通过一张时间线图清晰地展示了其技术演进脉络。

早期CNN 기반 모델: 以CLIPort为代表，首次尝试将预训练的VLM（如CLIP）用于提取视觉和语言特征，实现了端到端的物体操纵。但基于CNN的架构在统一多模态信息和扩展性方面存在瓶颈。
基于Transformer和VLM的规模化策略: 随着Transformer架构的兴起，以谷歌的RT-1、RT-2为代表的模型，利用大规模真实世界数据进行训练，并借助强大VLM（如PaLM-E）作为骨干网络，展现了出色的泛化能力。这一时期的代表作还有OpenVLA，它成为了一个主流的开源VLA架构。
扩散/流匹配技术的融合: 为了生成更平滑、更连续的动作，Octo、RDT-1B、π0等模型将扩散模型（Diffusion Models）或流匹配（Flow Matching）技术集成到动作解码器中，显著提升了机器人控制的实时性和稳定性。
近期趋势：潜在动作与层级控制: 最新的研究，如LAPA、π0.5、GR00T N1，则开始关注从视频中学习潜在动作（Latent Action）以及构建层级控制策略，旨在将高层的任务规划与底层的电机执行更优雅地结合起来。