ToolsAi

原创让你更懂AI的 2025-10-19 12:35 北京

重新定义推理：训练之外，采样之内

不靠强化学习、不做额外训练、不用校验器，也不需要复杂提示——哈佛团队提出的「Power Sampling」仅靠重新设计采样分布，就让基座模型的单发推理媲美 GRPO，还保持了多样性不坍缩。

强化学习（RL）一直被认为是让语言模型“会思考”的关键手段，但它训练成本高、流程繁琐——从奖励函数到稳定优化，再到校验器微调，每一步都需要额外算力与精心设计。

哈佛团队发现，推理能力并非只能依赖训练获得。只要重新定义采样方式，也能在推理阶段激活模型的潜在能力。

他们提出的「Power Sampling」基于一个简单的理念：将原始生成分布替换为幂分布，让采样器对未来路径的优劣更敏感。这样，模型在生成过程中会自发偏向更合理、更具逻辑性的推理链条。

无需 RL、无需再训练、无需 verifier，也无需复杂 prompting，这种“纯采样式推理”就能让基座模型在 MATH500、HumanEval、GPQA 等任务上单发媲美 GRPO，多发更胜一筹。

论文标题：

Reasoning with Sampling: Your Base Model is Smarter Than You Think

论文链接：

https://arxiv.org/pdf/2510.14901

项目主页：

https://aakaran.github.io/reasoning_with_sampling/

代码链接：

https://github.com/aakaran/reasoning-with-sampling

在可视化演示中，随着采样迭代推进，模型会在关键节点反复回退、重采样，逐步收敛到正确答案——让人意识到，推理能力其实早已存在，只是此前的采样方式未能显现。

研究背景

过去两年，大语言模型的推理能力几乎都靠强化学习（RL）“炼”出来。从 GPT-4、Claude 3 到 DeepSeek-R1，几乎所有顶级模型都遵循同样的流程：先预训练，再通过 RLHF、RLVR 或 GRPO 做后训练。

这些方法确实提升了模型在 MATH、HumanEval、GPQA 等推理基准上的表现，但研究者发现——这种提升的本质可能被高估了。

作者团队指出，强化学习的改进往往来自一种分布锐化（distribution sharpening）：模型并没有学会新的推理，而是更频繁地从原本就“高似然”的区域采样。换句话说，模型看似更聪明，实则只是更偏向输出自信答案。

代价是明显的——多样性坍缩。在 GRPO 等强化方法下，模型输出集中在少数高概率模式，原本丰富的思维空间被压缩殆尽。

作者团队由此意识到：强化学习的核心，也许只是隐式地改变了采样器的行为。如果推理能力的提升源于这种分布重塑，那是否可以不经训练，仅靠采样方式实现同样的效果？

他们的答案是肯定的。一种名为 Power Sampling 的采样策略由此诞生——它让模型在生成过程中不再“盲目往前走”，而能主动感知并修正未来路径的走向。

论文方法

语言模型的生成机制本质上是自回归的：在每一步，模型根据已有前缀预测下一个 token 的条件概率，整段序列的联合分布为：

这种方式虽然高效，却“目光短浅”——每步只关心当前似然，不考虑未来是否能形成逻辑闭环。作者团队的洞见是：不必再训练模型，只需在采样阶段重新定义分布。

2.1 从到：分布级的再塑形

他们将目标分布从替换为（），放大高似然路径的相对权重：

相比之下，常见的低温采样（temperature sampling）仅在每步条件分布上幂缩放：

而 Power Sampling 的目标是整条路径的幂分布，因此其下一步条件概率需考虑所有可能后续：

于是，低温采样是“先求和再指数”，Power 是“先指数再求和”。这种顺序差异让模型更偏向那些虽稀有但能导向正确答案的关键 token。

2.2 MCMC：把变成可采样分布

直接从采样几乎不可能——归一化常数需遍历指数级序列。论文采用 Metropolis–Hastings (MH) 机制：

为提议分布，通常取模型自身的采样分布。作者设计了“随机重采样提议”：随机选取位置，从提议模型重新生成尾段，再按上式判断是否接受。

▲ 图1. 在位置 t 回退并重采样尾段，按接受率 A 判断保留或回退。

▲ “回退 – 重采样 – 接受”循环的动态过程

2.3 分块自回归 MCMC：边写边修正

整段 MH 更新代价高昂，作者提出分块自回归 MCMC（Blockwise Autoregressive MCMC）。将序列划分为若干块（每块 B 个 token），定义中间目标分布：

算法逐块推进：每块先由基座模型生成初稿，再进行多次 MCMC “回退—重采样—接受” 更新。块完成后锁定前缀并进入下一块，相当于模型在生成中自我纠偏。

▲ 图2：逐块推进、块内多步 MCMC 更新的伪代码流程。

2.4 “关键token”现象：为何更容易“走对路”

理论上，Power Sampling 更容易上调那些“关键 token”——即出现概率较低但决定整体正确性的词。

在论文的形式化分析中，研究者定义了两类具有代表性的 token ：

正关键 token（positive pivotal token）：其全部概率质量集中于单一高似然结局；
负关键 token（negative pivotal token）：其概率质量分散在 N 个低似然结局上。

当两者的边际权重分别为与时，命题 3 指出，只要满足：

Power 分布就会上调正关键 token，而低温采样则会反向偏好负关键 token。这意味着即便正关键 token 在原始分布下权重更小，Power 采样仍能凭借幂分布的再加权机制，将生成路径引向更高整体似然的结局。

换句话说，Power Sampling 能够在关键分叉处自动避开低质量路线，走向更优解答。

实验结果

Power Sampling 的效果堪称“反直觉”：它既让推理更准，又让生成更活。

研究团队在 Qwen2.5-Math、Qwen2.5、Phi-3.5 等基座模型上，横跨 MATH500、HumanEval、GPQA、AlpacaEval 四类任务进行评测，涵盖数学、代码、科学与通用问答四个维度。

3.1 单发（single-shot）：推理精度几乎追平GRPO

▲ 图3. 在多个基座与任务上，Power Sampling 的单发准确率普遍与 GRPO 持平或略高。

在 MATH500 上，Qwen2.5-Math-7B 的基座模型单发准确率约 49.6%，GRPO 训练后提升到 78.5%；而 Power Sampling 仅靠采样，无需任何训练，就达到了 74.8%。

在 HumanEval（代码任务）中，它甚至略高于 GRPO。这意味着：同一模型，只靠改采样器，就能跨越通常需要几万 GPU 小时的强化学习提升。更重要的是，它不依赖“可验证奖励”。

在 AlpacaEval 这类无法明确定义对错的生成任务上，Power Sampling 依旧提升显著——说明它不是靠“答对答案”，而是让推理链条更稳、更自洽。

3.2 多发（pass@k）：性能继续上升，分布不坍缩

RL 后训练的一个常见问题是——多样性消失。模型输出被压到高似然峰值附近，生成结果趋同，pass@k 曲线在小 k 之后就不再上升。

Power Sampling 正好相反：它的 pass@k 曲线随着 k 增大持续抬升，并最终贴近基座的上界。

▲ 图4. Qwen2.5-Math-7B 在 MATH500 任务上的 pass@k 表现。Power Sampling（深蓝）在全 k 范围内均高于 GRPO（蓝）与 Base（浅蓝），且在高 k 区间与 Base 上界重合，说明在提升推理性能的同时保持了生成多样性。

这说明 Power Sampling 不仅提升了首选答案的正确率，还保留了探索能力。换句话说，它不会一味地“越训越窄”，而是让模型在多样性与准确性之间找到新的平衡点。

3.3 可控性：超参调节与推理时可扩展性

Power Sampling 只有两个关键超参：

幂指数控制“锐化”程度（实验表明最优）；
每块 MCMC 步数决定推理强度（2→10 步性能持续提升）。

研究者指出，Power Sampling 具备“测试时可扩展性”：算力越多，性能越高。这意味着在推理服务中可以动态分配计算预算——复杂任务多抽样，简单任务少抽样，实现性能与成本的平衡。

▲ 图5. 在 MATH500（基座：Qwen2.5-Math-7B）上，比较 Base / Power / GRPO 的输出分布。左：相对对数似然直方图；右：相对置信度直方图。GRPO 样本集中于最高似然与最高置信区域，Power 也明显右移但仍保持分布宽度，体现了在提升准确率的同时并未牺牲多样性。