
Alibaba:SlimQwen单卡跑通800亿大模型
SlimQwen,是一种针对大规模混合专家模型(MoE)的高效压缩方案。作者通过系统性实验证明,利用结构化剪枝进行模型初始化,其性能显著优于从零开始训练。研究提出了一种部分保留专家合并策略,在减少专家数量的同时有效保留了预训练知识。为了进一步提升模型质量,研究引入了多步预测(MTP)蒸馏技术,这不仅增强了模型基础能力,还提升了投机采样的效率。此外,采用渐进式剪枝调度比一次性剪枝表现更佳。最终,该方法成功将 Qwen3-Next-80A3B 压缩至 23A2B 规模,并在多个基准测试中保持了极强的竞争力。
The skinny
The skinny isn't ready yet — notes appear once the transcript is processed.