80GB显存仅存一篇文章？Engram用数据揭示：当前AI的RAG架构是对算力的畸形浪费

AI快递 · Jun 25, 2026 · 7m

节目介绍: 本期节目深度解析Engram创始人Dan Biderman和Jessy Lin的访谈，挑战当前主流AI记忆架构的行业共识。视频揭示了大规模上下文窗口和RAG（检索增强生成）架构在算力利用上的巨大浪费，提出通过有损记忆和持续训练将知识内化于模型权重的新思路，极大提升推理效率和AI记忆的智能化水平。这一技术路线或将重塑未来AI算力竞争格局，推动专属定制模型成为主流。 原视频链接： https://www.youtube.com/watch?v=aiR7F4jqjXY 原视频标题：Memory and Continual Learning: Engram's Dan Biderman and Jessy Lin 主要内容： • 当前主流的RAG架构通过向量数据库检索，耗费大量显存，甚至单篇文章占用80GB显存，造成巨大资源浪费 • 通过梯度下降将知识压缩进模型权重，实现更高效的内化记忆，减少推理时Token消耗两个数量级 • AI记忆应为有损压缩而非无损存储，选择性遗忘是智能的核心，传统死记硬背限制模型抽象能力 • 模型需具备离线“做梦”机制，在非交互状态下自我训练与反思，打破预训练和后训练的界限 • 未来AI将以专属定制模型为主，满足个性化、私有化需求，远离单一通用超级模型的垄断 推荐理由：…