הסקה איטית ב-GPU: נפילה ל-CPU, התנגשויות גרסאות CUDA/TensorRT ותקלות קונטיינרים (דיבוב AI)

M365.FM – פודקאסט Microsoft 365, Copilot ובינה מלאכותית בעברית · Nov 3, 2026 · 22m · transcript

חשבון ה-GPU עולה, הדשבורדים ירוקים – ובכל זאת הלקוחות מחכים. הפרק חוקר כמו תיק פלילי מדוע הסקה של Stable Diffusion עם ONNX Runtime ו-TensorRT כמעט לא מנצלת את ה-GPU בזמן שההשהיה מזנקת, ומוכיח את התיקון במדידות השהיה, תפוקה וניצולת GPU לפני ואחרי.מה תלמדו:נפילה ל-CPU: למה ONNX Runtime עובר בשקט לספק ההרצה של ה-CPU וההשהיה גדלה פי 10 עד 30התנגשויות גרסאות בין הדרייבר, CUDA, cuDNN, ONNX Runtime ו-TensorRT שבגללן אובדים בשקט ה-fused attention ואופטימיזציות FP16קונטיינרים שהוגדרו לא נכון: אימג'ים מנופחים, התקני GPU שלא נטענו, NVIDIA Container Toolkit וזירת הזיכרון של CUDAשערי תקינות וביצועים…