让你更懂AI的 2025-09-17 23:20 北京
深度见顶，广度起飞
近年来，大语言模型（LLMs）在复杂推理任务上的能力突飞猛进，这在很大程度上得益于深度思考的策略，即通过增加测试时（test-time）的计算量，让模型生成更长的思维链（Chain-of-Thought）。
然而，这条路径正面临着一个明显的瓶颈：随着计算资源的持续投入，性能提升变得微乎其微，甚至陷入停滞。
来自清华大学 AIR 的一篇最新研究论文《ParaThinker: Native Parallel Thinking as a New Paradigm to Scale LLM Test-time Compute》对这一瓶颈发起了挑战 。
该研究一针见血地指出，这个单链 test time scaling 的天花板并非模型能力的固有极限，而是源于当前顺序推理策略的根本缺陷 —— 一种被研究者称为「隧道视野」（Tunnel Vision）的现象。
为此，团队提出了模型原生的并行化思考方案，训练 LLM 在一次推理中同时生成和综合多个不同的推理路径，从而有效规避「隧道视野」问题，解锁模型潜在的推理能力。
该研究证明，与串行扩展计算深度相比，并行扩展计算宽度是一种更有效、更高效的推理策略。
论文标题：
ParaThinker: Native Parallel Thinking as a New Paradigm to Scale LLM Test-time Compute
论文链接：
https://arxiv.org/pdf/2509.04475
隧道视野：深度思考的阿喀琉斯之踵
扩展瓶颈（Scaling Bottleneck）： 如下图所示，对于单个推理路径（P=1），当投入的计算资源（即 Token 预算）超过一定限度后，模型准确率便不再提升，甚至可能下降，这表明「想得更久」并不能持续带来回报。
隧道视野（Tunnel Vision）： LLM 在生成思维链的初期，一旦迈出有瑕疵的第一步，就很容易被锁定在一条次优的推理路径上，难以在后续步骤中纠正或发现更优的解法 。模型仿佛走进了一条狭窄的隧道，无论走多远，都无法摆脱最初错误方向的束缚。
如下图 (b) 所示，研究者进行了一项实验：他们故意让模型从一个错误的推理前缀开始继续生成答案。结果显示，错误的前缀越长，模型最终能够 “拨乱反正” 得到正确答案的概率就越低。这证明了 LLM 一旦陷入错误的思维定式，就很难自行跳出。
新范式：从「深度」到「广度」
原生并行思考（Native Parallel Thinking）的核心思想是，与其让模型在一条路径上「死磕」，不如让它同时探索多条不同思路的推理路径，最后再综合提炼出最优答案。
为此，研究团队推出了一个名为 ParaThinker 的端到端框架。该框架能够训练 LLM 在一个统一的前向传播过程中，并行生成多个多样化的推理路径，并将它们融合成一个更高质量的最终答案。
ParaThinker 的实现主要依靠三大核心创新：
专用可控 Token：引入一系列可训练的特殊 Token（如 <think i>），用于显式引导模型开启第 i 条独立的思考路径，从而确保了推理路径的多样性。
思维特定位置嵌入：为了解决在汇总阶段多路径带来的位置信息混淆问题，ParaThinker 为每条推理路径设计了独特的、可学习的「思维嵌入」（Thought Embedding）。这让模型在最终综合时，能清晰地区分每个信息片段的来源，避免信息「串线」。
两阶段注意力掩码：在并行推理阶段，注意力被严格限制在各自的路径内部，确保各思路的独立性；在汇总阶段，则开放全局注意力，让模型可以审视所有路径并进行高效整合。
此外，一个关键的工程优势在于，ParaThinker 在汇总阶段能够重用并行推理过程中生成的 KV 缓存。这极大地节省了计算资源，避免了昂贵的重新计算（re-prefilling），使得整个过程的延迟开销极小。
超越Majority Voting与简单任务分解
并行推理并非一个全新的概念，类似「多数投票」（Majority Voting）的方法早已被用于提升模型在选择题或数值计算等任务上的表现。但这类方法的局限性也十分明显：它们依赖于可被轻易量化和验证的答案格式，而对于代码生成、数学证明、复杂智能体工作流等开放式、生成式的任务则束手无策。
ParaThinker 的优越性正在于此。它不是简单地对多个独立结果进行投票，而是学习如何智能地「整合」与「提炼」来自不同推理过程的信息。这使其成为一种更通用、更强大的并行推理框架，能够处理无法被简单投票的复杂任务，真正释放了并行思考的潜力。
在并行推理的探索道路上，除了 ParaThinker，近年来也涌现出其他值得关注的思路，例如以 Multiverse（https://arxiv.org/abs/2506.09991）为代表的工作，但其主要目标侧重效率：根据原文分析，这些方法的主要目标是加速生成过程，即让模型「做得快」，而不是直接致力于提升最终答案的准确性。
此外，其任务分解依赖任务结构：它们的成功很大程度上依赖于任务本身是否适合被显式地分解。对于许多不可分解的、需要整体性思维的复杂问题，这种方法的适用性便会受限。
相比之下，ParaThinker 提供了一种更具普适性的并行范式。它不假设任何子任务结构，也不试图对问题进行拆解。ParaThinker 的核心目标是通过思维的多样性来提升准确性。
实验结果：正确率随思维广度有效提升
在 AIME、AMC、MATH-500 等难度基准上，1.5B 参数模型用 8 条并行路径，平均准确率提升 12.3%；7B 模型提升 7.5%。
延迟开销较低：推理延迟并不随着同时思维链数而线性增长，在 batch size=1 时，并行路径数增加了 8 倍，但延迟仅增加了约 10%，这体现了并行计算在硬件层面的巨大优势。
与多数投票（Majority Voting）的结合
ParaThinker 与 majority voting 策略（即生成 k 个独立答案，选择出现次数最多的那个）并不冲突，两者叠加可以达到更高的正确率。
ParaThinker 教会大模型像人类一样「头脑风暴」，并行探索多种思路，再整合成最优答案。它预示着未来 LLM 的规模化发展之路，将从单纯的「深度」扩展转向更有效的「广度」扩展。
更多阅读
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。
📝 稿件基本要求：
• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注
• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题
• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道：
• 投稿邮箱：hr@paperweekly.site
• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿
△长按添加PaperWeekly小编
🔍
现在，在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
·