Inferência em GPU lenta desmascarada: fallback para CPU, conflitos de versão CUDA/TensorRT e erros de contêiner (Dublagem IA)

M365.FM – Podcast de Microsoft 365, Copilot e IA em português · Nov 3, 2026 · 22m · transcript

A conta de GPU sobe, os dashboards estão verdes e mesmo assim os clientes esperam. Este episódio investiga como um caso forense por que a inferência de Stable Diffusion com ONNX Runtime e TensorRT quase não usa a GPU enquanto a latência dispara, e comprova a correção com latência, throughput e uso de GPU antes e depois.O que você vai aprender:Fallback para CPU: por que o ONNX Runtime passa silenciosamente para o provedor de execução de CPU e a latência fica de 10 a 30 vezes maiorConflitos de versão entre driver, CUDA, cuDNN, ONNX Runtime e TensorRT que fazem perder sem aviso a atenção fundida…