skinny.

Latest / 每日AI

NVIDIA:大模型关掉99%大脑 更稀疏、更快速、更精简的Transformer

本文介绍了一项由 Sakana AI 与 NVIDIA 合作的研究,旨在通过非结构化稀疏性降低大语言模型的计算成本。研究者开发了名为 TwELL 的新型稀疏数据格式及其配套的 CUDA 内核,使模型能够高效利用 GPU 的并行计算能力。实验证明,利用 L1 正则化可诱导模型产生超过 99% 的稀疏性,且对性能几乎没有负面影响。该技术在推理和训练阶段均实现了显著的吞吐量提升、能耗降低以及内存优化,且效果随模型规模扩大而增强。作者已将相关代码开源,旨在推动稀疏化成为提升现代基础模型效率的关键途径。

Log in to save or queue this episode.

The skinny

The skinny isn't ready yet — notes appear once the transcript is processed.