Inferensi GPU lambat terungkap: fallback ke CPU, konflik versi CUDA/TensorRT, dan kesalahan kontainer (Sulih Suara AI)

M365.FM – Podcast Microsoft 365, Copilot & AI Bahasa Indonesia · Nov 3, 2026 · 22m · transcript

Tagihan GPU naik, dasbor berwarna hijau, tetapi pelanggan tetap menunggu. Episode ini menyelidiki layaknya kasus forensik mengapa inferensi Stable Diffusion dengan ONNX Runtime dan TensorRT nyaris tidak memakai GPU sementara latensi melonjak, lalu membuktikan perbaikannya dengan latensi, throughput, dan utilisasi GPU sebelum dan sesudah.Yang akan Anda pelajari:Fallback ke CPU: mengapa ONNX Runtime diam-diam beralih ke execution provider CPU sehingga latensi naik 10 hingga 30 kali lipatKonflik versi antara driver, CUDA, cuDNN, ONNX Runtime, dan TensorRT yang diam-diam menghilangkan fused…