【第665期】语言模型的睡眠、记忆巩固与自进化

Seventy3 · Jul 26, 2026 · 26m

Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。

如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。

联系小助手微信：seventy3_podcast（加群/投稿论文）

今天的这篇的主题是：

Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories

Summary

过去几十年见证了机器学习算法设计领域的重大进步，从早期针对特定任务的浅层模型研究，到如今更加通用的深度大语言模型（Large Language Models, LLMs）。尽管现有模型在需要即时预测或上下文学习（in-context learning）的任务中展现出了良好的效果，但它们仍然缺乏持续学习的能力，也无法有效地将其随时间积累的上下文知识迁移到长期参数中。

受到人类学习过程的启发，我们引入了一种称为…