CV君 2025-09-30 16:05 江苏
AI还想“歪打正着”？清华新作DeFacto，让模型答案有据可查
论文标题：DeFacto: Counterfactual Thinking with Images for Enforcing Evidence-Grounded and Faithful Reasoning
作者团队：Tianrun Xu, Haoda Jing, Ye Li, Yuquan Wei, Jun Feng, Guanyu Chen, Haichuan Gao, Tianren Zhang, Feng Chen
作者机构：清华大学，中关村学院，新疆大学，福州大学，中国科学院自动化研究所
论文地址：https://arxiv.org/abs/2509.20912
代码：https://github.com/tinnel123666888/defacto
数据集：
https://huggingface.co/datasets/tinnel123/defacto_dataset
前言
大家好！今天CV君想和大家聊一个非常“接地气”又至关重要的话题：如何治愈多模态大模型（MLLM）的“幻觉”问题。
我们都知道，现在的AI看图说话已经很溜了，但它们有时会“一本正经地胡说八道”。比如，你问它图片里路标上的限速是多少，它可能会自信地告诉你一个数字，但这个数字其实来自旁边商店的电话号码。这种看似答对了，但推理过程完全错误的现象，就是一种更隐蔽、更危险的幻觉。
来自清华大学等机构的研究者们，将这种现象精准地定义为 “伪事实（Fake-Fact）”幻觉，并提出了一套名为DeFacto的全新训练框架来“治愈”它。DeFacto这个名字起得非常妙，既有“事实上”的含义，又谐音“去伪存真”（De-Fake），直指问题核心。
“伪事实”幻觉：两种典型的AI“犯病”症状
作者一针见血地指出了当前模型存在的两种典型错误模式：
错误定位失败 (Mislocalized Failure) ：模型压根就没找到正确的证据区域。比如左边的公园场景，问叶子是什么树的，模型却去关注远处的背景或者不相关的落叶，自然答不对。
虚假正确性 (Spurious Correctness) ：这是最迷惑人的情况。模型看错了地方，但“碰巧”答对了。比如右边的马路场景，问不戴头盔的乘客是否安全，模型关注的却是地面或者其他戴了头盔的骑手，但基于常识给出了“不安全”的正确答案。这种“歪打正着”的回答，恰恰说明模型并没有真正理解图像内容，其推理过程是不可靠的。
CV君认为，这种对幻觉问题的细致分类和深入剖析，是这篇工作非常重要的一个前提贡献。
DeFacto疗法：先找证据，再回答
为了解决上述问题，DeFacto框架的核心思想是：强制模型在回答问题之前，必须先明确指出它所依据的图像证据。
如上图所示，整个框架要求模型以结构化的格式输出，包含三个字段：<bbox>（包含一个或多个证据边界框），<think>（简短的思考过程），和<answer>（最终答案）。这种设计将推理路径与最终答案紧密绑定。
整个框架基于强化学习（Reinforcement Learning），通过一个精心设计的多目标奖励函数和一套互补的训练范式来引导模型的学习过程。
三位一体的训练范式
DeFacto的训练包含了三种互补的样本类型，共同约束模型的行为：
正向样本 (Positive) ：给模型完整的图片和问题。模型需要选对证据区域并答对问题，才能获得奖励。
反事实样本 (Counterfactual) ：这是DeFacto的精髓。研究者们会自动地将图片中的正确证据区域（R+）抹掉，然后用同样的问题去问模型。此时，由于关键信息缺失，模型被期望回答“不知道（Unknown）”来主动放弃回答。
随机遮挡样本 (Random-masking) ：为了防止模型“耍小聪明”（比如看到有遮挡就无脑回答“不知道”），研究者们还会随机遮挡一些与问题无关的区域（R-）。在这种情况下，模型仍然需要像处理正向样本一样，找到正确的证据并给出答案。
为了自动化地构建这三种样本，作者开发了一个包含约 10万张图片 的反事实数据集。其构建流程分为三步：
描述符提取：使用一个强大的MLLM（如Qwen2.5-VL）解析问题，提取出关键的文本描述符（如“红色的杯子”）。
证据定位：结合区域提议网络（RPN）、OCR和开放词汇检测器（DINO-X），在图片中定位与描述符匹配的证据区域。
实例生成：根据定位到的证据区域，自动生成正向、反事实和随机遮挡三种训练实例。
精心设计的奖励函数
强化学习的灵魂在于奖励函数。DeFacto的奖励函数包含了三个部分，上图的曲线也展示了训练过程中各项奖励稳步提升的趋势：
a. 答案正确性奖励 (Answer Reward) ：在正向/随机样本中答对问题，或在反事实样本中回答“Unknown”，则获得奖励。
b. 格式一致性奖励 (Format Reward) ：输出格式是否规范（比如是否包含了<bbox>, <think>, <answer>标签）？
c. 区域选择一致性奖励 (Region Selection Reward) ：选择的证据区域是否与真实证据区域（R+）重合度高？
通过这套组合拳，DeFacto迫使模型必须将它的答案牢牢地“锚定”在视觉证据上，从而实现真正意义上的“有据可查”。
疗效如何？数据说话
DeFacto框架在多个通用及文档、场景文字类的VQA基准测试中都取得了显著的效果提升。
在通用VQA基准测试上（上表），相较于强大的Qwen2.5-VL基线模型，DeFacto带来了全方位的巨大提升。例如，在OKVQA上提升了13.5%，在GQA上提升了28.8%，在VSR上更是提升了惊人的68.1%！这证明了DeFacto在增强模型的组合推理和常识推理能力方面非常有效。
在更具挑战性的文档和场景文字VQA任务中（上表），DeFacto同样表现出色，在InfoVQA、DeepForm、WTQ等多个数据集上都取得了超过10%的性能增益。
消融实验
作者还通过消融实验（上表）证明了DeFacto框架中每个组成部分的重要性。结果显示，完整的DeFacto框架（CF reward + GRPO）相比于仅使用SFT（监督微调）或不带反事实奖励的GRPO，性能有质的飞跃。例如，仅引入反事实监督（SFT, CF alignment）就比标准SFT在VQAv2上提升了5.3%，在OKVQA上提升了13.7%。而最终完整的DeFacto框架，相比于没有反事实奖励的GRPO，在OKVQA上更是高出11.1%，充分说明了“反事实”训练和区域级奖励在增强模型推理忠实性上的关键作用。
总结
总的来说，DeFacto这项工作为解决MLLM的幻觉问题，特别是“伪事实”幻觉，提供了一个非常新颖且有效的思路。它通过引入反事实思维和强化学习，成功地在模型的“思考过程”和“最终答案”之间建立了一座名为“视觉证据”的桥梁。
CV君认为，这项研究的意义不仅在于提升了模型在各个榜单上的分数，更重要的是，它朝着构建更可信、更可解释的AI迈出了坚实的一步。当AI的回答不仅“正确”，而且“有理有据”时，我们才能真正地信任它、依赖它。
对于作者的这个思路，也欢迎大家来交流！