ToolsAi

原创让你更懂AI的 2025-10-06 20:04 北京

当记忆开始思考

当前，由大型语言模型（LLM）驱动的智能体（Agent）正引领着人工智能领域的变革。

然而，智能体的记忆机制——无论是强制调整模型参数的“参数化记忆（Parametric Memory）”，还是将经验外部化存储的“基于检索的记忆（Retrieval-based Memory）”——都未能捕捉到人类认知中推理与记忆流体般交织的精髓。

为了弥合这一鸿沟，来自新加坡国立大学的团队引入了 MemGen，一个为 Agent 赋予类人认知能力的动态生成式记忆框架。

MemGen 的核心在于其创新的“记忆触发器”与“记忆编织器”，它们协同工作，使 Agent 能够在推理过程中实时、按需地生成并融入“隐式记忆（Latent Memory）”，从而实现一个记忆与认知紧密交织的循环。

在不对主模型进行任何任何微调的前提下，MemGen 只将外部知识注入到外部记忆模块，并在解码时动态注入，所实现的性能最高超过全参数量微调的 GRPO 高达 13.4%。

论文题目：

MemGen: Weaving Generative Latent Memory for Self-Evolving Agents

论文链接：

https://arxiv.org/abs/2509.24704

代码链接：

https://github.com/KANABOON1/MemGen

背景介绍

大型语言模型（LLM）驱动的智能体（Agent）的兴起标志着各个领域范式的转变。这一成功的关键在于智能体记忆（Agent Memory）的概念，它使 LLM 智能体能够从与环境的交互中逐步学习。然而，现有的记忆范式存在显著局限性：

参数化记忆（Parametric Memory）：通过直接微调（Fine-tuning）来内化经验。尽管这种方法可以带来显著的性能提升，但其对参数修改的依赖不可避免地会导致“灾难性遗忘”（Catastrophic Forgetting），即新知识的获取会侵蚀原有的通用知识。

基于检索的记忆（Retrieval-based Memory）：将过去的经验外化到结构化数据库中（如原始轨迹、高级经验或可重用技能）。

尽管这种非侵入性方法避免了灾难性遗忘，但其效果根本上受限于上下文工程（Context Engineering）。它遵循一种僵化的执行流程，即在任务开始时检索上下文并附加到查询中，无法实现真正内化的、与推理过程无缝集成的记忆。

这些缺陷凸显了当前方法的不足，它们与人类认知的两个关键维度相去甚远：

1. 缺乏推理与记忆的无缝交织：在人类认知中，思想与记忆是动态地相互重塑的。

2. 依赖于基于相似性的检索：现有方法大多通过嵌入相似性来获取记忆，而非根据需求生成性地重构为新颖、连贯的见解。

这些挑战引出了我们的核心研究问题：如何才能构建一个动态的 Agent 记忆，使其能够实现与 reasoning 无缝交织的记忆过程？

为了应对这一挑战，MemGen 应运而生。

MemGen方法论

MemGen 旨在通过一种动态的、生成式的记忆框架，为任何 LLM 智能体赋予更类人的认知能力。其核心由两个协同工作的组件构成：一个强化学习（RL）训练的记忆触发器（Memory Trigger）和一个记忆编织器（Memory Weaver）。

2.1 记忆触发器（Memory Trigger）：学习何时调用记忆

记忆触发器在 MemGen 框架中扮演着一个元认知决策模块的角色。其核心功能是持续监控智能体在进行自回归（autoregressive）推理时逐 token 生成的内部认知状态——即核心 LLM 推理器（Reasoner ）的隐藏状态序列。通过对该状态序列的观察，触发器判断当前是否为调用记忆以进行深度反思的关键节点。

在实现上，该触发器被设计为一个轻量级的低秩适配器（LoRA）。在每个解码步骤，它接收截至当前的所有隐藏状态作为输入，并输出一个二元决策。

为兼顾效率与语义完整性，我们引入了句子粒度的激活策略：仅当当前生成的 token 属于预定义的“分隔符集合 D”（如句号、逗号）时，触发器才被激活进行决策。这一设计借鉴了LLM可解释性的研究，即在语义边界上进行干预能更有效地引导推理路径。

记忆触发器的训练采用了强化学习（Reinforcement Learning）。其优化目标旨在实现一个精妙的平衡：既要确保在能显著提升任务性能的关键时刻调用记忆，又要避免因不必要的调用而引入计算开销或干扰连贯的推理。

为此，我们设计了一种自适应奖励惩罚机制，该机制基于高回报轨迹的平均激活概率动态调整惩罚项，从而鼓励模型学习一种稀疏但高效的、具有战略性的记忆调用策略。

2.2 记忆编织器（Memory Weaver）：合成并注入隐式记忆

一旦记忆触发器发出 INVOKE 信号，推理过程便会即时暂停，并激活框架的第二个核心组件——记忆编织器（Memory Weaver）。该模块同样接收触发器所观察到的认知状态作为输入，并以此为“刺激”来执行一次生成性的回忆（generative act of recollection）。

记忆编织器的任务是合成一段定制化的、机器原生（machine-native）的隐式记忆。这是一段由个 Latent Token 组成的序列（），其内容不仅源于编织器自身通过训练内化的参数化知识，还可动态融合从外部记忆库（如 ExpeL）中检索到的文本线索。

至关重要的是，的生成并非对过往经验的简单复述（verbatim restatement），而是一种高度选择性的重构与整合（selective reconstruction），其机制类似于人脑海马体将记忆碎片整合成连贯情景的过程。

记忆生成后，它将被无缝地“编织”进当前的推理上下文中。具体而言，的隐藏状态表示会被后缀到推理器当前的隐藏状态序列中。随后，推理器在这一被记忆增强了的认知状态上恢复其自回归生成过程，从而使其后续的思考和决策能够充分利用这次动态生成的回忆。

2.3 记忆与推理的交织循环

通过上述机制，MemGen 构建了一个生成-监控-调用-编织-再整合”（generation, monitoring, invocation, weaving, and reintegration）的迭代循环。

这一动态流程将智能体的推理过程从一种线性的、单向的展开（linear unfolding）提升为一种与记忆之间递归式的、双向的对话（recursive dialogue）。

该框架最核心的优势在于其模块化的训练范式。记忆编织器作为独立的模块承载了所有经验的学习和内化，其更新过程对具体的优化策略具有普适性。

无论是采用基于专家轨迹的监督微调（Supervised Fine-Tuning, SFT），还是基于任务奖励信号的强化学习方法如组相对策略优化（Group Relative Policy Optimization, GRPO），都可以被用来高效地训练记忆编织器。

至关重要的是，在整个训练过程中，优化算法产生的梯度被严格地限制在记忆编织器模块内部，而不会反向传播至被冻结的核心推理器（）。这种设计不仅从根本上规避了灾难性遗忘问题，更确保了核心LLM强大的通用能力得以完整保留，同时赋予了智能体一种可不断演进的、任务相关的专业记忆能力。

实验分析

我们在涵盖五个领域（网页搜索、具身行动、数学推理、科学推理和代码生成）的九个数据集上进行了广泛的实验。

3.1 跨领域的高性能记忆（RQ1）

实验结果表明，现有的基线模型在跨领域适应性上存在明显局限。基于检索的记忆（如 ExpeL, AWM）在具身行动任务上偶尔优于参数化微调，但在推理密集型任务上表现不佳。参数化微调方法则相反，在代码生成等结构化领域表现出色，但在知识密集型推理上较弱。

相比之下，MemGen 在所有领域都表现出一致的卓越性能。例如，在 ALFWorld+SmolLM3-3B 上，MemGen-SFT 和 MemGen-GRPO 相较于 vanilla 模型分别提升了 31.64% 和 44.64%。

在更大的 Qwen3-8B 模型上，MemGen-GRPO 在 KodCode 和 PopQA 上分别实现了 +27.06% 和 +28.17% 的增益，显著超越了原始的 GRPO 方法。这证明了 MemGen 动态记忆注入的巨大优势。

3.2 强大的跨领域泛化能力（RQ2）

我们在一项任务上训练 MemGen，并在多个其他任务上进行测试，以评估其记忆的泛化能力。

结果显示，SFT 和 MemoryBank 等基线方法在训练领域内实现了性能增益，但在跨领域任务上性能急剧下降。而 MemGen 不仅在领域内取得了显著进步，还表现出有效的迁移能力：例如，在 KodCode 上训练后，其在 MATH 任务上的性能从 36.6% 提升至 54.2%。

我们进一步分析了记忆触发器的调用频率。结果发现，触发器能够智能地根据任务上下文评估记忆注入的益处，在不熟悉的领域中会更少地调用记忆编织器，从而缓解了领域冲突。

3.3 有效缓解灾难性遗忘（RQ3）

我们在四个数据集上进行了顺序训练，以评估模型的持续学习能力。

与基线方法相比，MemGen 表现出更强的知识保留能力。例如，SFT 在主要关注最新任务性能的同时，在早期任务上出现了严重的遗忘。而 MemGen 展现了更均衡的跨任务泛化能力，并在早期任务上保留了更多的知识（在 KodCode 训练后，AQuA 任务上保留 40.34% vs SFT 的 28.61%），显示出更稳定的持续学习能力。

3.4 隐式学习类人记忆层次（RQ4）

我们对 MemGen 学到的隐式记忆进行了可视化和功能性分析。通过 t-SNE 可视化，我们发现来自不同领域的记忆序列形成了独立的分布，而相关领域（如 KodCode 和 BigCodeBench）则聚集在一起。