让你更懂AI的 2025-09-10 13:41 北京
为什么RL更抗遗忘？
©来源 | 机器之心
我们已经进入了大模型时代，越来越多的应用依赖大模型的能力，可以说大模型已经成为智能化基础设施的核心组成部分，支撑着语言，视觉分析，智能驾驶，机器人等各种下游应用。
在大模型的实际使用中我们发现，大部分的模型还只是某个细分领域任务的大牛，离我们理想中的 AGI 仍然遥遥无期。
准确的说，这些投入部署的大模型大多是「静态」模型，对于其预训练或微调时优化的系列任务表现良好，但是在动态学习，自我提升这部分能力是缺位的。
如果我们希望实现更加通用的大模型，使其能像长期的智能助手一样，随时间不断适应新的任务与需求，很多技术瓶颈亟待突破。而最大的挑战之一就是「灾难性遗忘」。
相信大家对这个概念已经非常熟悉了，灾难性遗忘指的是模型在学习新任务时，会丢掉之前学到的技能。扩大模型规模、增加预训练数据确实能稍微缓解遗忘现象，但始终不能彻底解决。
▲ 图源：小红书 @机器坏人（AI 版）
针对灾难性遗忘的问题，研究者们提出了各种各样的改进方法，包括正则化、经验回放、参数微调等等。
但有没有一种可能，我们对大模型遗忘的研究想的有些太复杂了，如无必要勿增实体的剃刀原则才是根治问题的最佳手段。
几天前，来自麻省理工学院（MIT）Improbable AI Lab 的研究者针对该问题发表了一篇研究论文，将奥卡姆的剃刀伸向了大模型后训练，揭示了大模型遗忘现象的基本规律和训练策略，目前已在 Alphaxiv 上热度排名第一。
论文标题：
RL's Razor: Why Online Reinforcement Learning Forgets Less
论文链接：
https://www.arxiv.org/abs/2509.04259
现代 AI 系统面临一个根本性挑战：在学习新任务时，它们常常灾难性地遗忘先前获得的知识。这种现象严重限制了基础模型作为长期、持续学习代理的能力。
这项研究集中在一个惊人的实证观察上：
研究者比较了两种常见的后训练方式：监督微调（SFT） 和 强化学习（RL）。结果很出乎意料：
即便 SFT 和 RL 在新任务上表现一样好，SFT 往往是通过 「牺牲旧知识」 来换取新任务的提升；
RL 却能在学习新技能的同时，更多地保留原有能力。
那么问题来了：为什么 RL 不容易遗忘？
遗忘定律
研究揭示了一个新的规律，称为「遗忘定律」：
当模型 π 在新任务 τ 上进行微调时，遗忘程度可以通过 精确预测，即在新任务上评估的微调策略和基线策略之间的KL散度。
这条定律在实践中非常有用，因为它可以在微调过程中进行测量甚至影响，而无需访问旧任务数据。尽管其机制仍有待充分理解，但这条定律在不同模型和领域之间的一致性表明它反映了遗忘的一个基本属性。
也就是说，微调后模型与原始模型在新任务分布上的差异越大，遗忘就越严重。
偏向 KL - 最小解减少了遗忘。左图显示，在能够解决新任务的策略中，RL 收敛到 KL 散度上最接近基模型的那些策略。右图显示，在相同的新任务性能下，这种 KL 偏向使得 RL 相比 SFT 能更好地保留先验任务的知识。
研究者进行了广泛的实验，以确定什么因素预示着灾难性遗忘。他们测试了各种假设，包括权重级变化、表示偏移和分布差异。通过对多个领域和模型架构进行系统性消融研究，他们发现微调策略和基础策略之间的前向 KL 散度是遗忘的一个惊人一致的预测指标。
前向 KL 散度定义为：
其中 代表微调策略，
代表原始模型。
这种关系适用于不同的训练算法和超参数，形成了作者所称的「经验性遗忘定律」。在使用简化 ParityMNIST 任务的对照实验中，这种关系实现了 0.96 的 R²，证明了其预测能力。
该图显示，在帕累托前沿上，RL 始终优于 SFT，在语言模型（数学、科学问答、工具使用）和机器人任务中，RL 在新任务性能和先验知识保留之间实现了更好的权衡。
RL的剃刀：KL最小路径原理
更有意思的是，RL 的优势正来自于它的「KL 偏好」。
在新任务上，存在许多能达到高表现的解。
RL 天然偏向选择那些 离原始模型更近（KL 更小）的解；
而 SFT 则可能收敛到距离原始模型很远的解，从而带来严重遗忘。
核心理论贡献是「RL 的剃刀」—— 即在解决新任务的所有方法中，RL 偏好与原始模型在 KL 散度上最接近的解决方案。这种偏向 KL 最小解的偏好解释了为什么 RL 比 SFT 遗忘得少。
为了验证 KL 假设，研究者构造了一个理想的「oracle SFT」 分布：它在保证新任务完美准确的同时，也做到 KL 最小化。结果显示，在这个分布上训练，遗忘比 RL 还少。这说明 RL 的优势并不是来自某种「本质上的不同」，而是源于它隐式地执行了 KL 最小化。只要训练过程偏向 KL 最小解，模型遗忘就会随之减少。
左图通过使用一个「Oracle SFT」分布来证明这一原理，该分布在实现完美新任务准确性的同时，解析地最小化了 KL 散度。
使用这种 Oracle 分布进行训练产生的遗忘比标准 RL 更少，证实了 KL 最小化是关键机制。中图展示了 KL 散度与遗忘之间的强关联（R² = 0.961），而右图则说明了与 SFT 相比，RL 如何通过较小的 KL 偏移实现高准确性。
机制分析：在线策略学习与离线策略学习
为了理解 RL 何种机制驱动了其 KL 保守行为，研究人员比较了四种不同的训练范式：
分析揭示，数据收集的在线策略性质是关键因素，而不是负面示例的使用。在线策略方法（GRPO 和 1-0 Reinforce）保持较小的 KL 偏移和更好的先验任务保留，而离线方法（SFT 和 SimPO）无论是否使用负面示例，其行为都相似。
理论基础
作者通过信息几何的视角，为强化学习的 KL - 最小收敛提供了理论基础。他们表明，带有二元奖励的策略梯度方法可以被理解为在概率空间中执行交替的信息（I-）投影和期望（M-）投影：
这种迭代过程收敛到可表示策略类中的 KL - 最小最优策略，为「RL 的剃刀」提供了形式化解释。I - 投影步骤在满足奖励约束的同时最小化 KL 散度，而 M - 投影步骤则朝着更高奖励的动作更新。
更多数据
这项研究表明，这一原理超越了简单的实验环境。使用中心核对齐（Centered Kernel Alignment）进行的表示保留分析表明，与 SFT 相比，RL 保持与基础模型更高的相似性：
此外，对更大模型（70 亿和 140 亿参数）的实验证实，仅仅扩大规模并不能消除 SFT 中固有的遗忘权衡：
总结
本篇论文的核心贡献有三点：
1. 实验证明：在相同性能下，RL 比 SFT 更不容易遗忘；
2. 提出遗忘定律：新任务上的 KL 散度 是预测遗忘的关键指标；
3. 理论与实证结合，解释了 RL 的优势来自其 on-policy 特性。
这项研究为后训练提供了新的视角：为了实现无遗忘的持续适应，算法应该明确地旨在最小化与基模型之间的 KL 散度，确立了 KL 散度作为持续学习系统的基本设计原则。
这一原则为设计未来的训练方法打开了大门，这些方法将 RL 保留先验知识的能力与 SFT 的效率相结合，使基础模型能够真正地「终身学习」。
对于使用基础模型的实践者来说，这项研究提供了明确的指导：当持续适应很重要时，在线策略 RL 方法比标准微调方法具有显著优势。KL 散度指标还为模型适应期间的遗忘监测和预测提供了一个实用工具。
这项工作有助于我们理解为什么像 RLHF 中的 KL 正则化这样的常见实践是有效的，将经验观察提升到理论基础。这种原则性理解为开发真正长寿、能够持续学习而不会灾难性遗忘的 AI 代理开辟了新方向。
更多阅读
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。
📝 稿件基本要求：
• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注
• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题
• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道：
• 投稿邮箱：hr@paperweekly.site
• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿
△长按添加PaperWeekly小编
🔍
现在，在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
·