മന്ദഗതിയിലുള്ള GPU ഇൻഫറൻസ്: CPU ഫോൾബാക്ക്, CUDA/TensorRT വേർഷൻ പൊരുത്തക്കേട്, കണ്ടെയ്‌നർ പിഴവുകൾ (AI ഡബ്ബിംഗ്)

M365.FM – Microsoft 365, Copilot & AI പോഡ്‌കാസ്റ്റ് മലയാളത്തിൽ · Nov 3, 2026 · 22m

GPU ബിൽ ഉയരുന്നു, ഡാഷ്‌ബോർഡുകൾ പച്ചയാണ്, എന്നിട്ടും ഉപഭോക്താക്കൾ കാത്തിരിക്കുന്നു. ONNX Runtime, TensorRT എന്നിവയോടെയുള്ള Stable Diffusion ഇൻഫറൻസ് ലേറ്റൻസി കുതിച്ചുയരുമ്പോഴും GPU ഏറെക്കുറെ ഉപയോഗിക്കാത്തത് എന്തുകൊണ്ടെന്ന് ഒരു ഫോറൻസിക് കേസ് പോലെ ഈ എപ്പിസോഡ് അന്വേഷിക്കുന്നു; മുമ്പും ശേഷവുമുള്ള ലേറ്റൻസി, ത്രൂപുട്ട്, GPU ഉപയോഗം എന്നിവ കൊണ്ട് പരിഹാരം തെളിയിക്കുന്നു.നിങ്ങൾ പഠിക്കുന്നത്:CPU ഫോൾബാക്ക്: ONNX Runtime നിശ്ശബ്ദമായി CPU എക്സിക്യൂഷൻ പ്രൊവൈഡറിലേക്ക് മാറുന്നതും ലേറ്റൻസി 10 മുതൽ 30 മടങ്ങ് വരെ കൂടുന്നതും എന്തുകൊണ്ട്ഡ്രൈവർ, CUDA, cuDNN, ONNX Runtime, TensorRT എന്നിവ തമ്മിലുള്ള വേർഷൻ…