Медленный инференс на GPU: откат на CPU, конфликты версий CUDA/TensorRT и ошибки контейнеров (ИИ-дубляж)

M365.FM – подкаст о Microsoft 365, Copilot и ИИ на русском · Nov 3, 2026 · 22m · transcript

Счёт за GPU растёт, дашборды зелёные, а клиенты всё равно ждут. В этом выпуске, как в криминальном расследовании, разбирается, почему инференс Stable Diffusion на ONNX Runtime и TensorRT почти не загружает GPU, пока задержка растёт, а решение подтверждается замерами задержки, пропускной способности и загрузки GPU до и после.Что вы узнаете:Откат на CPU: почему ONNX Runtime незаметно переключается на CPU-провайдер выполнения и задержка вырастает в 10–30 разКонфликты версий драйвера, CUDA, cuDNN, ONNX Runtime и TensorRT, из-за которых без предупреждения теряются fused attention и оптимизации…