Повільний інференс на GPU: відкат на CPU, конфлікти версій CUDA/TensorRT і помилки контейнерів (ШІ-дубляж)

M365.FM – подкаст про Microsoft 365, Copilot і ШІ українською · Nov 3, 2026 · 22m · transcript

Рахунок за GPU зростає, дашборди зелені, а клієнти все одно чекають. У цьому випуску, як у криміналістичному розслідуванні, з’ясовуємо, чому інференс Stable Diffusion на ONNX Runtime і TensorRT майже не навантажує GPU, поки затримка зростає, а рішення підтверджуємо вимірюваннями затримки, пропускної здатності й завантаження GPU до і після.Що ви дізнаєтеся:Відкат на CPU: чому ONNX Runtime непомітно переходить на CPU-провайдер виконання, а затримка зростає в 10–30 разівКонфлікти версій драйвера, CUDA, cuDNN, ONNX Runtime і TensorRT, через які без попередження втрачаються fused attention та…