Ep.562 Qwen3-Next 80B登場──“3Bだけ動かす”超省コストMoEの正体（2025年9月18日配信）

名古屋ではたらく社長のITニュースポッドキャスト · Sep 17, 2025 · 4m

Qwenは新世代モデル「Qwen3-Next」を発表し、その第1弾として総80Bパラメータながら推論時の“起動”は約3Bに抑える「Qwen3-Next-80B-A3B」を公開しました。公式ブログは「高スパースMoEにより計算量を劇的に削減しつつ、Qwen3-32Bに匹敵、場合によっては上回る性能を確認した」と述べ、効率重視の実運用を強く意識した位置づけを示しています。

技術の肝は三つです。第一に「超スパースMoE」。各層で多数の“専門家”から必要なごく一部だけを選択して計算します。公開情報では“512エキスパートのうち10＋共有1を活性化”という設計が明示され、計算フロップスを抑えつつモデル容量の利点を保つ狙いです。第二に「ハイブリッド注意機構」。従来のアテンションをGated DeltaNetとGated Attentionの組み合わせに置き換え、長文文脈の保持力とスループットを両立。第三に「Multi-Token Prediction」で、訓練・推論の双方を加速します。…