遅いGPU推論の正体：CPUフォールバック、CUDA/TensorRTのバージョン不一致、コンテナ設定ミスを解決（AI吹き替え）

M365.FM – Microsoft 365・Copilot・AI ポッドキャスト（日本語） · Nov 3, 2026 · 22m · transcript

GPUの請求額は増え、ダッシュボードは緑なのに、顧客は待たされている。このエピソードでは、ONNX RuntimeとTensorRTによるStable Diffusion推論がほとんどGPUを使わないままレイテンシだけが上昇する原因を事件のように調査し、修正前後のレイテンシ、スループット、GPU使用率で解決策を裏付けます。このエピソードで学べること：CPUフォールバック：ONNX Runtimeが静かにCPU実行プロバイダーへ切り替わり、レイテンシが10～30倍になる理由ドライバー、CUDA、cuDNN、ONNX Runtime、TensorRTのバージョン不一致によって、Fused AttentionやFP16最適化が黙って失われる仕組みコンテナの設定ミス：肥大化したイメージ、マウントされていないGPUデバイス、NVIDIA Container…