Inferencia en GPU lenta al descubierto: fallback a CPU, conflictos de versiones CUDA/TensorRT y errores de contenedor (Doblaje IA)

M365.FM – Podcast de Microsoft 365, Copilot e IA en español · Nov 3, 2026 · 22m · transcript

La factura de GPU sube, los paneles están en verde y aun así los clientes esperan. Este episodio investiga como un caso forense por qué la inferencia de Stable Diffusion con ONNX Runtime y TensorRT apenas usa la GPU mientras la latencia se dispara, y demuestra la solución con latencia, rendimiento y uso de GPU antes y después.Lo que aprenderás:Fallback a CPU: por qué ONNX Runtime recurre en silencio al proveedor de ejecución de CPU y la latencia se multiplica entre 10 y 30 vecesConflictos de versiones entre controlador, CUDA, cuDNN, ONNX Runtime y TensorRT que hacen perder sin aviso la…