Inférence GPU lente démasquée : repli sur CPU, conflits de versions CUDA/TensorRT et erreurs de conteneur (Doublage IA)

M365.FM – Podcast Microsoft 365, Copilot & IA en français · Nov 3, 2026 · 22m · transcript

La facture GPU grimpe, les tableaux de bord sont au vert, et pourtant les clients attendent. Cet épisode mène l’enquête : pourquoi l’inférence Stable Diffusion avec ONNX Runtime et TensorRT n’utilise presque pas le GPU alors que la latence s’envole, preuves à l’appui en latence, débit et utilisation GPU avant et après correction.Au programme :Repli sur CPU : pourquoi ONNX Runtime bascule en silence sur le fournisseur d’exécution CPU, avec une latence 10 à 30 fois plus élevéeConflits de versions entre pilote, CUDA, cuDNN, ONNX Runtime et TensorRT qui font perdre discrètement l’attention…