AI前沿：稀疏注意力、增量学习反思与思维链加速

AI可可AI生活 · Feb 19, 2025 · 14m

本期播客精华汇总：

[CL] Native Sparse Attention：Hardware-Aligned and Natively Trainable Sparse Attention

提出了原生稀疏注意力 (NSA) 机制，通过分层Token建模和硬件优化，显著提升长文本建模效率，同时保持甚至超越完整注意力模型的性能。

核心创新在于硬件对齐设计和原生可训练性，为高效长文本语言模型发展提供新方案。

[LG] Continual Learning Should Move Beyond Incremental Classification

呼吁持续学习研究超越增量分类的局限，认为应关注更广泛的持续学习问题，如多目标分类、连续任务学习等。

提出了持续学习未来研究的三大核心挑战（连续性本质、空间与度量、学习目标），为领域发展提供新方向。

[CL] TokenSkip：Controllable Chain-of-Thought Compression in LLMs

提出了 TokenSkip 方法，通过选择性跳过CoT中不重要的token，实现可控的CoT压缩，显著提升推理效率，同时保持性能。

揭示了CoT中token语义重要性的差异性，为CoT效率优化提供新思路。

[LG] Neural Interpretable Reasoning

提出了 神经可解释推理 (NIR)…