
NVIDIA:Nemotron 3 Ultra 高效混合专家推理模型技术报告 英伟达550B大模型炼成记
NVIDIA 开发的 Nemotron 3 Ultra 模型,这是一个拥有 5500 亿总参数(其中 550 亿为活跃参数)的混合架构语言模型。该模型结合了 Mamba 与 Attention 机制,并采用混合专家(MoE)架构,旨在显著提升智能体推理效率和吞吐量。它在 20 万亿 Token 上进行了预训练,支持高达 100 万长度的上下文,并开源了包括基础版、微调版及量化版在内的多个版本。研究重点展示了其在保持领先精度的同时,通过 NVFP4 训练和多 Token 预测(MTP)等技术实现了比同类模型高出数倍的推理速度。此外,文中还详述了后训练流水线,利用多教师在线策略蒸馏(MOPD)和强化学习进一步强化其在复杂任务中的自主能力。
The skinny
The skinny isn't ready yet — notes appear once the transcript is processed.