Ep.685 Azure ND GB300 v6が“100万トークン／秒”を突破──Blackwell世代で推論の実用限界が動いた（2025年11月6日配信）

名古屋ではたらく社長のITニュースポッドキャスト · Nov 5, 2025 · 4m

11月3日、Microsoftは「Azure ND GB300 v6」で“100万トークン/秒”の壁を越えたと公表しました。Llama 2 70Bのオフライン推論（MLPerf Inference v5.1、未検証提出）で、1ラック＝NVL72構成あたり合計1,100,948トークン/秒を計測。直前世代のND GB200 v6による865,000トークン/秒を27％更新し、1GPUあたりでは約15,200トークン/秒という水準です。実行はTensorRT-LLMのFP4で、ベンチ一式の手順とログも合わせて公開されました。なお“100万トークンの壁”は文脈長ではなく“毎秒の生成トークン数”のことです。

この“速さ”を支えるのがラック一体のNVL72です。72基のBlackwell Ultra GPUとGrace CPUを液冷で密結合し、推論や“推論時スケーリング（test-time scaling）”に最適化。AzureはこのNVL72を18台のND GB300 v6 VMで占有する前提で構成し、HBM帯域・NVLink・NCCLの効率を高めることで、H100世代のND v5比でGEMM性能2.5倍、GPU単体スループット5倍を示したと説明しています。…