【第636期】δ-mem：大语言模型的高效在线关联记忆机制
Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。
如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。
合作邮箱：zhiwudazhanjiangshi#gmail.com
今天的主题是：
δ-mem: Efficient Online Memory for Large Language Models
Summary
大语言模型在长期助手和智能体系统中越来越需要积累和复用历史信息。仅仅扩展上下文窗口成本高昂，且往往无法保证有效的上下文利用率。
我们提出了 δ-mem，这是一种轻量级的记忆机制，它通过一个紧凑的联想记忆在线状态（online state of associative memory），来增强被冻结的全注意力主干网络（frozen full-attention backbone）。δ-mem 将过去的信息压缩进一个固定大小的状态矩阵中，该矩阵通过 δ 规则学习（delta-rule learning，即增量规则学习）进行更新，并在生成过程中利用其读取结果对主干网络的注意力计算生成低秩修正（low-rank corrections）。
仅凭一个 8×8 的在线记忆状态，δ-mem 展现出了出色的表现：
能够将平均得分提高到冻结主干网络的…
The skinny
The skinny isn't ready yet — notes appear once the transcript is processed.