AI前沿：解决注意力衰减、提高推理效率与安全防护框架

AI可可AI生活 · Feb 4, 2025 · 13m

本期“TAI快报”聚焦AI模型效率与安全性的最新突破，深入探讨了五篇前沿论文的核心内容：

[CL] Scalable-Softmax Is Superior for Attention: 提出了 Scalable-Softmax (SSMax) 函数，有效解决了Transformer模型中标准Softmax的注意力衰减问题，显著提升了模型在长上下文处理和关键信息检索方面的性能。

[CL] s1: Simple test-time scaling: 提出了“预算强制” (Budget Forcing) 测试时扩展方法，结合高质量小规模数据集 s1K，训练出超越 OpenAI o1-preview 的推理模型 s1-32B，证明了简单方法和高质量数据在提升推理能力方面的巨大潜力。

[LG] The Surprising Agreement Between Convex Optimization Theory and Learning-Rate Scheduling for Large Model Training: 揭示了非光滑凸优化理论与深度学习学习率调度（特别是 wsd 调度冷却阶段的优势）之间惊人的吻合性，并利用理论指导实现了学习率的优化和迁移，提升了大型语言模型训练效率。

[LG] Constitutional Classifiers: Defending against…