【第595期】MEMENTO：教导大语言模型自主管理推理上下文

Seventy3 · May 17, 2026 · 24m

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。

合作邮箱：zhiwudazhanjiangshi#gmail.com

今天的主题是：

MEMENTO: Teaching LLMs to Manage Their Own Context

Summary

推理模型通常以冗长、无结构的方式进行思考，却缺乏压缩或组织其中间状态的机制。我们提出了 MEMENTO：一种教会模型将推理过程划分为多个模块（blocks）的方法。模型会把每个模块压缩成一个“memento”（记忆摘要），即一种稠密的状态总结，并且在后续推理时只关注这些 mementos，从而减少上下文长度、KV cache 占用以及计算开销。

为了训练 MEMENTO 模型，我们发布了 OpenMementos：一个包含 22.8 万条推理轨迹的公开数据集。该数据集基于 OpenThoughts-v3 构建，对推理过程进行了分段，并为每个中间阶段添加了摘要标注。

我们表明，基于 OpenMementos 的两阶段监督微调（SFT）方案，在不同模型家族（如 Qwen3、Phi-4、Olmo 3）以及不同规模（80 亿至 320…