Wolna inferencja na GPU zdemaskowana: fallback na CPU, konflikty wersji CUDA/TensorRT i błędy kontenerów (Dubbing AI)

M365.FM – podcast o Microsoft 365, Copilot i AI po polsku · Nov 3, 2026 · 22m · transcript

Rachunek za GPU rośnie, dashboardy świecą na zielono, a klienci i tak czekają. Ten odcinek bada jak sprawę kryminalną, dlaczego inferencja Stable Diffusion z ONNX Runtime i TensorRT prawie nie wykorzystuje GPU, gdy opóźnienia rosną, i dowodzi skuteczności poprawek pomiarami opóźnień, przepustowości i wykorzystania GPU przed i po.Czego się dowiesz:Fallback na CPU: dlaczego ONNX Runtime po cichu przechodzi na dostawcę wykonania CPU, a opóźnienie rośnie od 10 do 30 razyKonflikty wersji sterownika, CUDA, cuDNN, ONNX Runtime i TensorRT, przez które bez ostrzeżenia znikają fused attention i…