ToolsAi

原创让你更懂AI的 2025-10-09 23:49 北京

忠实性→推理→正确性

最近，腾讯 WXG 推出了思维监督奖励模型Thinking-supervised Reward Model (TRM)，旨在提升大语言模型（LLM）在开放域问答任务中的事实正确性。

TRM 通过引入忠实性 → 推理 → 正确性的三步思考链路，教会大模型像人类一样批判性思考，从而显著提升了在开放式问答场景中（open-domain QA）对错误句子的识别能力。

TRM 已被应用到大模型的 RL 后续训练中，并在开放域问答数据集上实现了最高 30.3% 的正确率提升。

论文题目：

From Faithfulness to Correctness: Generative Reward Models that Think Critically

论文链接：

https://arxiv.org/abs/2509.25409

代码链接：

https://github.com/Martin-qyma/TRM

模型链接：

https://huggingface.co/QiyaoMa/TRM

导读

通过可验证奖励的强化学习（RLVR），大语言模型（LLM）在数学、编程等结果易于验证的领域取得了显著进展。然而，当应用于开放域问答等更复杂的任务时，RLVR 面临重大挑战，原因在于“正确性”难以验证。

现实世界知识往往具有复杂性和模糊性，使得在这些场景中难以可靠地评估答案是否正确。这就要求模型不仅具备逻辑一致性，还需要具备同时理解和评估外部资料与自身内部知识的能力。

近期的研究主要聚焦于提升忠实性 —— 即答案与支持文档的语义一致性。但这种方法可能导致模型过于依赖外部资料，从而削弱了其批判性思考的能力。

为解决这一问题，我们提出了思维监督奖励模型（TRM）。TRM 在句子层面引入力导思维监督，赋予奖励模型批判性思考能力。针对一个查询、答案和支持文档，TRM 首先评估答案中每个句子是否忠实于文档，然后再通过推理步骤判断该句子的正确性。

通过将奖励建模过程明确结构化为忠实性 → 推理 → 正确性的链路，TRM 鼓励模型批判性地评估并利用外部与内部知识。实验结果表明，TRM 在错误句子识别上有显著提升，而将 TRM 融入策略优化后，还能有效提高答案的正确性与实用性。

模型方法

在开放域问答中，一个答案往往不是“全对”或“全错”，而是夹杂着局部准确和局部错误。传统的监督方式会因为个别错误而整体否定答案，导致模型难以学习精细化判断。为此，我们提出了思维监督奖励模型（TRM）。

TRM 的核心创新是句子级别的奖励信号，并设计出一个仿照人类批判性思维的推理链条：

这样的三步流程让 TRM 能够区分四种关键场景：

忠实且正确（可靠答案）
忠实但错误（文档本身可能有误）
不忠实但正确（模型借助内部知识修正了文档缺陷）
不忠实且错误（典型幻觉或伪造）通过这种设计，TRM 不仅帮助模型发现“哪一句有问题”，还学会像人类一样，既参考外部证据，又检验自身知识。在实验中，TRM 显著提升了错误检测能力，并为后续的强化学习提供了更精确的奖励信号。