skinny.

Latest / 跨国串门儿计划

#573.AI 如何拥有长期记忆,持续学习浪潮下的架构范式之争

📝 本期播客简介

本期我们克隆了:Cognitive Revolution "How AI Changes Everything": Nested Learning: Ali Behrouz on the Quest for Continual Learning & Illusion of AI Architectures

本期是《Cognitive Revolution》对 Ali Behrouz 的一场 AI 架构深度访谈。Ali 是 Cornell 的研究生、Google 研究员,也是《Nested Learning》和《Language Models Need Sleep》的作者。他的研究聚焦一个关键问题:今天的大语言模型为什么不能像人一样持续学习?为什么它们有知识截止日期,不能真正把新知识吸收到参数中,也很容易在更新时发生灾难性遗忘?

在这期节目中,Ali 从人类大脑、记忆巩固、睡眠和做梦出发,提出一种新的 AI 系统设想:模型不应该只有训练阶段和测试阶段,而应该像持续学习者一样,在活跃阶段接收信息,在睡眠阶段整理、压缩和巩固知识。他详细解释了 Nested Learning 的核心框架:让模型内部不同模块以不同频率更新,让快速模块负责即时适应,让慢速模块负责长期抽象和稳定记忆。节目还深入讨论了 HoPE 架构、自修改…

The skinny

The skinny isn't ready yet — notes appear once the transcript is processed.