Latest / M365.FM – Podcast su Microsoft 365, Copilot e IA in italiano
Inferenza GPU lenta smascherata: fallback su CPU, conflitti di versione CUDA/TensorRT ed errori nei container (Doppiaggio IA)
La bolletta GPU sale, le dashboard sono verdi eppure i clienti aspettano. Questo episodio indaga come un caso forense sul perché l’inferenza Stable Diffusion con ONNX Runtime e TensorRT usa a malapena la GPU mentre la latenza cresce, e dimostra la soluzione con latenza, throughput e utilizzo GPU prima e dopo.Cosa scoprirai:Fallback su CPU: perché ONNX Runtime passa in silenzio al provider di esecuzione CPU e la latenza diventa da 10 a 30 volte più altaConflitti di versione tra driver, CUDA, cuDNN, ONNX Runtime e TensorRT che fanno perdere senza avvisi la fused attention e le ottimizzazioni…
The skinny
The skinny isn't ready yet — notes appear once the transcript is processed.