Trage GPU-inferentie ontmaskerd: CPU-fallback, versieconflicten in CUDA/TensorRT en containerfouten oplossen (AI-nasynchronisatie)

M365.FM – Microsoft 365, Copilot & AI podcast in het Nederlands · Nov 3, 2026 · 22m · transcript

De GPU-rekening stijgt, de dashboards staan op groen en toch wachten de klanten. Deze aflevering onderzoekt als een forensische zaak waarom Stable Diffusion-inferentie met ONNX Runtime en TensorRT de GPU nauwelijks benut terwijl de latentie omhoogschiet, en onderbouwt de oplossing met latentie, doorvoer en GPU-benutting voor en na.Dit leer je:CPU-fallback: waarom ONNX Runtime stilletjes terugvalt op de CPU-uitvoeringsprovider en de latentie 10 tot 30 keer hoger wordtVersieconflicten tussen driver, CUDA, cuDNN, ONNX Runtime en TensorRT waardoor fused attention en FP16-optimalisaties ongemerkt…