
注意力残差:治愈AI深度失忆
本文介绍了一种名为Attention Residuals (AttnRes)的新型模型架构技术,旨在解决现代大语言模型中标准残差连接导致的深度增加、信息稀释及梯度不均等问题。研究团队提出通过Softmax注意力机制取代传统的固定权重加法,使每一层都能根据输入内容动态、选择性地聚合先前所有层的表示。为了降低大规模训练中的内存和通信开销,作者进一步设计了Block AttnRes变体,将层划分为块进行跨块注意力计算,并配合跨阶段缓存等系统优化实现高效推理。实验证明,该方法在不显著增加计算负担的情况下,能有效抑制隐藏状态异常增长并优化梯度分布。在480亿参数规模的Kimi Linear模型上进行1.4万亿令牌的预训练结果显示,AttnRes显著提升了模型在逻辑推理、数学和代码等复杂任务上的下游表现。
The skinny
The skinny isn't ready yet — notes appear once the transcript is processed.