ToolsAi

原创让你更懂AI的 2025-11-06 14:13 北京

让模型不只“看懂场景”，还能精确指向每一像素。

当前 MLLM 擅长全局场景级理解与推理，在像素级细粒度视觉理解任务上仍表现薄弱。

视觉语言理解已从整体场景级认知，迈向更细粒度的像素级目标级推理。然而，当下的研究工作多局限于单个物体的描述，难以深入理解多对象属性、交互关系及其时序演变，且牺牲了模型本身的通用理解能力。

研究人员给出创新的解决方案 PixelRefer：一个统一的时空像素级区域级理解框架，可实现任意粒度下的精细视觉指代与推理，在多项像素级细粒度理解任务取得领先性能表现，且模型推理时间、显存占用大幅优于现有工作。

PixelRefer 实现极小目标的准确语义理解以及时空物体区域理解。

作者单位：

ZJU、Alibaba DAMO、HK PloyU

论文链接：

https://arxiv.org/abs/2510.23603

项目网站链接：

https://circleradon.github.io/PixelRefer/

代码链接：

https://github.com/DAMO-NLP-SG/PixelRefer

核心看点

对像素级区域模型进行深入的分析：（i）语义丰富的区域表征直接决定像素级语义理解的质量；（ii）在 LLM 深层阶段，全局视觉标记的作用显著减弱；
引入 PixelRefer 与轻量化 PixelRefer-Lite 方法，实现高效像素级理解的同时，保持视觉语言模型本身通用视觉理解能力；
构建大规模区域级指令数据集 PixelRefer-2.2M，包含细粒度物体感知与全局视觉指令微调数据。

原理与做法

构建 Vision-Object Framework与Object-only Framework。其中对于 Vision-Object Framework，把全局视觉 token + 像素级区域 token + 文本 token 一起送入 LLM，既保留场景语境，又在对象级上精细推理。对于 Object-only Framework，将全局特征在前处理阶段融合入对象 token 表示中。这样一来，LLM 无需再使用全局视觉标记，显著降低显存与时间消耗，同时保持语义一致性与理解精度。

Scale-Adaptive Object Tokenizer（SAOT）。该像素级物体编码器能自适应地调整不同大小目标的特征尺度，让微小物体不被忽略、巨大目标不冗余；同时引入掩膜特征聚合（Abundant Feature Aggregation）与相对位置编码，让目标区域的表征既紧凑又富含上下文信息。

Object-Centric Infusion Module（OCI），该模块采用分层注意力机制，在局部与全局两个层面逐步注入视觉特征。通过 Local-to-Object 和 Global-to-Object Attention，使目标的表征同时具备细节感知与全局语义，从而实现更完整的上下文融合。