【第583期】Attention Residuals：注意力残差破解深度稀释

Seventy3 · May 5, 2026 · 17m

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。

合作邮箱：zhiwudazhanjiangshi#gmail.com

今天的主题是：

Attention Residuals

Summary

虽然带有 PreNorm 的残差连接是现代大模型（LLM）的标准配置，但它采用固定单位权重累加各层输出。这种均匀聚合会导致隐藏状态随着深度增加而出现不受控的增长，从而逐渐稀释（dilution）了每一层的贡献。

为了解决这一问题，我们提出了 Attention Residuals (AttnRes)，通过学习到的、依赖输入的权重来动态选择性地聚合之前的层。

核心技术方案

注意力残差 (AttnRes)

机制：将固定的加法累加替换为对前面所有层输出的 Softmax 注意力机制。

优势：允许模型根据当前输入，自主决定哪些历史信息更重要，从而实现跨深度的选择性聚合。

分块优化 (Block AttnRes)

挑战：在超大规模模型中，对之前所有层进行注意力计算会带来巨大的内存和通信开销。

方案：将各层划分为块（Blocks），仅在块级表示上进行注意力操作。…