会睡觉、会做梦的大模型：让 AI 学完不忘

Not a ToE · Oct 29, 2026 · 17m

今天的大语言模型部署之后就不再学习：上下文窗口里学到的东西，会话一结束就消失；直接更新权重，又容易出现灾难性遗忘。本期聊 Ali Behrouz、Farnoosh Hashemi、Adel Javanmard 和 Vahab Mirrokni 的论文《Language Models Need Sleep》：用“清醒—睡眠”的周期取代传统的训练/测试划分。

睡眠分两步。记忆巩固（知识播种，Knowledge Seeding）：把快速更新、容易丢失的记忆，蒸馏进更稳定的慢速层中新解锁的低秩专家，结合在线策略蒸馏与基于强化学习的模仿学习，然后清空快速层中此前新增的低秩专家。做梦：模型自己生成合成数据，并随机混入专家，只保留能提升自身表现的“梦”。

我们也聊了持续学习、长上下文理解、知识融入和少样本抽象推理上的结果：在少样本 ARC 任务集（8 个留出任务）上，Sleep 的成功率达到 80%，是所比较方法中最高的。

论文：https://arxiv.org/abs/2606.03979