Latest / M365.FM – Microsoft 365, Copilot और AI पॉडकास्ट हिंदी में / धीमा GPU इन्फ़रेंस बेनकाब: CPU फ़ॉलबैक, CUDA/TensorRT वर्ज़न टकराव और कंटेनर की गलतियाँ (AI डबिंग)

Transcript

धीमा GPU इन्फ़रेंस बेनकाब: CPU फ़ॉलबैक, CUDA/TensorRT वर्ज़न टकराव और कंटेनर की गलतियाँ (AI डबिंग) · M365.FM – Microsoft 365, Copilot और AI पॉडकास्ट हिंदी में

• 0:00
  शुरुवात एक चेताबनी से होई, फिर सनाटा चागया
• 0:01
  GPU का बिल ऐसे बढ़ा मानो एक्सलेटर कभी सोया ही नहीं हो
• 0:04
  फिर भी आउटपूट ऐसे रहेंग रहे थे, जैसे बिजली गुढ़ हो गई हो
• 0:06
  टाशबूर्ड हरे थे, पर ग्राहक नहीं
• 0:09
  विसंगती मेल नहीं खा रही थे, GPU का अपयोग लगबग शुने था
• 0:13
  जबकि latency आस्मान चूर रही थी, कोई alert नहीं बजा, कोई red line नहीं थी
• 0:16
  बस समय बरबाद हो रहा था, सबूत एक ऐसी समस्या की और इशारा करते हैं
• 0:20
  जो सामान्य होने का ड्हूंग कर रही है, यह रहा हमारा वादा
• 0:22
  हम कला करती हो, artifacts को trace करेंगे, दोशी का नाम बताएंगे और इस समस्या को ठीक करेंगे
• 0:26
  हम तीन विफलता mode की जाच करेंगे
• 0:28
  CPU fallback, CUDA और ONX, TensorRT के बीच, version mismatch और container misconfiguration
• 0:33
  और हम इसे latency, throughput और GPU के आंकड़ों के साथ पहले और बाद में सिद्ध करेंगे
• 0:37
  case setup, वातावरन और pediat profile
• 0:41
  हर configuration एक कहानी कहती है
• 0:43
  और इसकी शुरुवाद दबाव में एक साधारन tenant से होती है
• 0:45
  workload text to image, diffusion है, stable
• 0:48
  diffusion variants जो 512 गुणा 512 पे चल रहे हैं
• 0:51
  और 124 गुणा 124 गुणा 124 तक स्केल हो रहे है
• 0:53
  traffic में अचानक उछाल आता है
• 0:55
  concurrency 38-32 request के बीच बनी रहती है
• 0:57
  batch का कार 1-8 की बीच रहता है
• 0:59
  service इस्तर tail latency पे सक्त है
• 1:02
  P9RW का उलंगन सिधे credit और penalty में बदल जाता है
• 1:05
  model बहुत अनोखे नहीं है
• 1:06
  लेकिन उनका चुनाव माहिने रखता है
• 1:08
  ONX exported stable diffusion pipeline
• 1:10
  X-formers या skilled dot product attention जैसे cross attention optimization
• 1:13
  और scheduler chain जो गुनवत्ता के लिए steps का सौधा करते हैं
• 1:15
  जो गुनवत्ता के लिए steps का सौधा करते हैं
• 1:17
  ecosystem को तेज काम करना चाहिए
• 1:19
  अगर plumbing सही हो
• 1:20
  hardware कागस पर समान जंग दिखता है
• 1:22
  cloud में NVIDIA RTX और A-series card
• 1:25
  16-32 GB RAM के साथ
• 1:26
  PCIU host और device के बीच
• 1:29
  एक toll gate की तरह स्थित है
• 1:30
  तरही configuration होने पर यह तेज है
• 1:32
  लिकिन जब बहुत भारी पढ़ता है
• 1:33
  इस वातावरन में कुछ भी आकस्मिक नहीं है
• 1:36
  टूल चेन परिशित लेयर्स में व्योस्थित है
• 1:38
  PyTorch का उप्यूग एक्सपोर्ट के लिए किया जाता है
• 1:40
  फिर inference के लिए ONX runtime या TensorRT कारेबार सम्भालते है
• 1:42
  पिर टायर हर चीज का इधार मिश्थित है
• 1:44
  attention कर निलगती का वादा करते है
• 1:46
  यदि वर्जन मेल खाते हो
• 1:47
  Deployment पूरी तरह से content रिकरत है
• 1:50
  अप रिवर्टने इमेजेज, CNN यंतरित, रोल आउट
• 1:52
  निती का नुसाल ब्लू ग्रीन
• 1:53
  वो बाधा सुरक्षा पैदा करने के लिए है
• 1:55
  ये दोशों को हमेशा के लिए स्थिर भी कर सकता है
• 1:57
  व्याबसाइक दाओं अमूर्थ नहीं है
• 1:59
  प्रती अनुर्वत लागत मार्जन को प्रिवाशित करें
• 2:01
  GPU अरक्षन की कीमत प्रती घंटे के हिसाब सिता होती है
• 2:03
  चाहे करने चलें
• 2:05
  जब latency सेकंड से बढ़के आधे मिन तक पहुंच आती है
• 2:07
  तो throughput गिर जाती है
• 2:08
  एक गरत configuration accelerator को हीटर में बदल देता है
• 2:11
  महंगा, शान्त और ऐसा कुछ करने में वैस्ट
• 2:12
  जो कतार में मदब नहीं करता
• 2:14
  करीब से जाच करने पर
• 2:15
  P2D profile सीमित हो जाता है
• 2:16
  सोला की concurrency 512 पर
• 2:19
  VRM की सीमा के नीचे रहने के लिए
• 2:21
  2 के बैज, गुनवत्ता के लिए
• 2:22
  2025 तक बढ़ाना
• 2:24
  tenant को एक सुसंगत P95 की उमीद है
• 2:26
  इसके बजाए
• 2:27
  ट्रेसेज मैनिश्चित लिटेंसी
• 2:29
  P50 और P95 के बीच बढ़ा अंतर और GPU ड्यूटी
• 2:31
  साइकल बिना किसी सपष्ट कारण के
• 2:33
  5% से 40% तक डोलता हुआ दिखता है
• 2:35
  CPU ग्राफ ये कलक्स अच्छा है भियां करते है
• 2:38
  जब कोई प्री प्रासेसिंग ना हो
• 2:40
  तब भी कोड पूरी तरह बैस्त है
• 2:41
  साक्षितीन संभावनाव के और इशारा करते है
• 2:43
  पहला CPU फॉल बैक
• 2:44
  जब CUDA ये TensorRT एग्जेकुशन प्रोवाइडर लोड नहीं हो पाते
• 2:47
  तो इंजिन चुपचाप CPU ग्राफ चुल लेता है
• 2:50
  मॉडल काम तो करता है लेकि लेकि लेटेंसी 10-30 गुना बढ़ जाती है
• 2:52
  दूसरा वर्जियम का मेल नखाना
• 2:54
  ONX रन्टाइम एक CUDA के साथ कंपाइल हुआ
• 2:57
  नोर्स दूसरे पर चल रहे हैं
• 2:58
  अमाने होकर जैनलिक करनल के साथ फिर से बने है
• 3:01
  यूटिलाइजेशन तो दिखता है
• 3:03
  लेकिन फास्ट बात खतम हो चुके है
• 3:05
  तीसरा कंटेनर का गलत कॉन्फिगरेशन
• 3:07
  भारी इमेज, GPU दिवाइस मांट की कमी
• 3:09
  गलत अन्वीडिया टूलकिट सेटिंग्स
• 3:10
  और मेमरी एरिना जो लोड के दौरान
• 3:12
  लेटनसी बढ़ाते हैं
• 3:14
  जो लोड के दौरान लेटनसी बढ़ाते हैं
• 3:15
  अंत में ये मॉडलों का रहस्य से नहीं है
• 3:17
  ये बुनियादी धाचे की विश्वसनेता का मामला है
• 3:19
  हम आर्टिफाक्स, प्रोवाइडर ओडर, कैपेबिलिटी लॉंक्स और डिवाइस मांट्स को टैक करेंगे
• 3:24
  और उन्हें तीन सटीक मेट्रिक्स से जोड़ेंगे
• 3:25
  लेटनसी, थूपुट और जीप्यू यूटिलाइज़ेशन
• 3:29
  साक्ष फाइल ए, सीप्यू फॉल बैक, शान तोड़ फोर
• 3:32
  करने वाला, एक ऐसी रिक्विस्स से शुरू हुआ, जिसे कुछी सेकर्ट में पूरा होना जाई था पर नहीं हुआ
• 3:38
  जीप्यू मीटर शान्त था, बहुत जादा शान्त, इस बीच सीप्यू ग्राफ फायर अलाम की तरह ओपर चड़ गया
• 3:43
  करीब से जाच करने पर इंजन ने एक विकल्प जोना था, उसनी जीप्यू के काम को सीप्यू पे चलाया, कोई अलर्ड नी आया
• 3:49
  आउटपूट अंतत है मिल गया, यही वो शान्त तोर फोर करने वाला है, सीप्यू फॉल बैक, यह माइने के वो रखता है, यह सरल है
• 3:55
  सीप्यू पे स्टेबल डिफ्यूजन समय की बरबादी है
• 3:57
  मॉडल चलता है, लेकिन लेटेंसी 10 से 30 गुना बढ़ जाती है, और थ्रूपूट गिर जाता है
• 4:02
  इसे माहौल में जहां मिलिसेकंड का महत्व हो, यह अंतरगा तक है
• 4:05
  बिल जीप्यू समय कर गिना जाता रहता है, लेकिन डिवाइस काम नहीं कर रहा हो था
• 4:08
  टाइमलाइन ने पैटरन हो जागर कर दिया, जो कंटेनर स्थानी स्थार पर शूड़ा के साथ तेजी से चल
• 4:12
  जब उन्हें अलग ड्राइवर स्टैक वाले ट्वेस्टर नोट पर तैनात किया गया, तो वे कंटेनर बूट हुए, हेल्थ प्रॉप दिये और फिर धीमे हो गए
• 4:19
  हेल्थ एंपॉइंट ने किवली ये चेक किया, क्या सर्वर चालू है, इसलिए उसनी ये कभी नहीं चेक किया कि क्या जीप्यू वास्तों में काम कर, इस वातावरन में कुछ भी आकस्मिक नहीं है, खामुशी एक सबूत है, मुख्य सबूत, ONX रन टाइम में एक्जेकू�
• 4:49
  प्रोवाइडर उप्लत नहीं है, CPU पे वापस जा रहे हैं, वो लाइन वो सुईकर रखती है, जिसे आधी कांस्टी में कभी नहीं पड़ता है, अजीब बात तो यह है, यूटिलाज़ेशन चार्ट पहली नजर में धोके से समाने दिखते हैं, रिक्वेश्ट अभी पूर
• 5:19
  बैटन आगे बढ़ते हैं, लेकिन रेस की गतिसे नहीं, दूसरे शब्दों में, आपका सिस्टम पूरे SLO बजट की कीमत पर सही परणाम तो देता है, बूट सिक्वेंस को ट्रेस करने पर आर्टिफैक्ट चल्दी जमा हो जाते हैं, प्रोवाइडर लोड लॉड लॉड �
• 5:49
  तो scheduler कभी device assign नहीं करता, इन मेंचे कोई भी silent downgrade को trigger कर सकता है, इसे दोहराना सीधा और सरल है, एक गरत configure किये गए नोट पर एक साधारन inference provider के रूप में CPU execution provider प्रिंट करता है, जहां आपको Tensor RTS UDA execution provider की उम्मीद होती है, एक single 5.12 prompt भेजें, GPU खाली रहता है, CPU threads बढ़ जाते
• 6:19
  GPU duty cycle एक निरंतर बैंड में जंप कर जाती है, सबूत बताते हैं कि वर्तमान सुरक्षा उपाय केवल दिखावा है, हेल्थ प्रोप्स 200 रेटन करते हैं क्योंकि server प्रतिकरिया देता है, ऐसा कोई starter patient नहीं है, जो सुनिशित करें कि GPU पातले, प्रफॉर्मेंस प्रोप्स मौ�
• 6:49
  सुनिशित करें कि Tensor RTS sudah load हो गया है, और device की संख्या पिक्षाओं से मेल खाती है, शम्ता सेट QDNN, उपलब्द Tensor Core, Memory CMY log करें, और यदि कुछ भी गाय को, तो non-zero exit करें, उपलब्द ताके बजाय अखंटा को चुने, और केस्टेटर को एक स्वस्त नोड पर रिशेडियू
• 7:19
  फेल कर दें, जिट मिस्टिक सीट के साथ एक कैमरी प्रॉंट सेट जोड़ें, लेटेंसी की तुलना बेसलाइन विंडो से करें, इदि डिफ्ट आपकी सहनशीलता से अधिक हो तो प्रडक्शन को अलट करें, और रोलाओ टोग दें, ये कठोर लग सकता है, लेकिन विकल्
• 7:49
  जिदी GPU का उपियोग नहीं किया गया था, तो आगला सवाल ये है क्या इमवजूद होने पर भी पूरी गती से प्रडशन कर सकता था, साक्षेक सूच मिफलता क्यों इशारा करते है, संसकरन चलने के लिए परियाप्त है, लेकिन तेज रास्ती को अनलॉक करने के लिए नह
• 8:19
  30-50% के आस-पास रहता है और विलंबता बजट से अधिक हो जाती है, बिल्ड एक जैसा दिखता है, काम धीमा है, करीब सी जाज करने पर आटिफेक्ट से ठीक होते हैं, प्रोवाइडर लोड लॉग से एक संकीर के साथ सफल तक गोशना करते हैं, टिफॉल्ट करनल पर वा
• 8:49
  पीसिक्स्ट अप्टिमाइजेशन को छोड़ सकता है, दौड पूरी हो जाती है, स्पाइक्स की बिना टेंसर को ड्यूटी साइकल शांत रहते हैं, यह प्रतिस एच कांटरिटिव हिसा है, टीमें इसे इस्ट तम्माल लेती हैं, क्योंकि यह चल रहा है, इस वातावरन में
• 9:19
  टेंसरी बढ़ जाती है, ट्रैक को लॉक एक सेट के रूप में सोचे, ड्राइवर, स्यूड़ टूलकिट, स्यूडन, ओनेक्स, रन टाइम, बिल्ट फ्लैग्स, और टेंसर आर्टी, एक दानत गलेच जगह पर तो चावियादी हो, और टी प्रति निश्पादन प्रदाता
• 9:49
  होता है, सिश्टम चुप-चाप गती के बजाए शुदिता को प्रात्मिक्ता देता है, बेंचमार्क वियाभारी ग्रूप से नुकसान को साबित करते हैं, एक्स फॉर्मर्स या एच्डिपी सक्री होने पर, डिफूजन अटेंशन वाल क्लॉक समय को मापनी योग ग्रू�
• 10:23
  स्टार्ट अप पर स्टीक प्रिदाता सूची और उनकी रिपोर्ट की गई विशेशताओं को प्रिंट करें, टेंसर आर्टी संसकरन, एफपी सिखोला और आइन्टी एट की उपलब्धता, अधिक्तम वर्कस्पेस, क्यू दिनन कंवर्शन हुरिस्टिक्स, मल्टी जी प्
• 10:53
  जाँच करें, ट्राइवर से पूछताच करें, एन्वीडिया, SMI, करनिल, मॉड्यूल और संगत्ता दिखाता है, कंटेनर में लाइबरी संसकरन पड़े, लिपकुडा, लिपकुडा, लिपकुडास, लिपकुडन, लिबिनफर, यदि इमेज में सिउडा, पारपउंट 3 �
• 11:23
  ट्राइवर संगत्ता, सिउडा माइनर, सिउडियनन, ORT बिल्ड हैश, और टैंसर आटी संसकरन के साथ बेस इमेज, उस मेटिक्स के आधार पे इंफरेंस इमेज बनाएं, और नोड लेबल तथा एडमिशन चेक के माध्यम से मेल नखाने वाले नोड्स को स्विकार करें, �
• 11:53
  कंटेनर को लक्षे ड्राइवर के साथ एक अलद रंडर में चलाएं, और सब्यापित करें, कि टैंसर आटी एफपी 16 करनिल का उप्योप करता है, अटेंशन, नोड्स फ्यूजड है, आयो बाइंडिंग से करिये हैं, और एक नियतात्मक प्रॉंट से चलाएं, और यदि ल
• 12:23
  में चुकाती है, सिस्टम चलेगा, घड़ियां कवाही देंगी, सबूत फाइल सी, कंटेनर, पल, डिजाइन के अनुसार, गलत कंफिगरेशन से दक्षता का शर्ण, जब संसकरन संरेखित होते हैं, तब भी कंटेनर भीतर से दक्षता को नुकसान पहुचा सकता है, सबूत
• 12:53
  तो प्रतिक्रतियां घटना स्थल पर देर से पहुचती है, यदि GPU device mount नहीं है, या runtime में सही flags की कमी है, तो निश्पादन प्रदाता गलत व्यवहार करते हैं, यदि memory error RAM मतने के कारण आवंटन को जमा करती है, तो ये paging और tail spikes को trigger करते हैं, model ठीक दिखता है, container चुपचाप ह
• 13:23
  करता है, हर deployment network पर gigabyte data खींचता है, node pool में से scale करें, और cold start एक नीती बन जाती है, ना कि कोई अपवाद सबूत रहसमी नहीं है, docker history layers में पूरी कहानी बताती है, run time चरन की दूसरी परत को जागर करता है, पस्ट GPU flags के बिना docker में कोई GPU नहीं, या Kubernetes में device plugin configuration नहीं पर process को कोई �
• 13:53
  load होता है, या बिल्कुल नहीं, MIG लागू नहीं होता है, इसलिए workload, memory slice के लिए लड़ते हैं, और ऐसी बरबादी करते हैं, जिसे scheduler समझ नहीं पाते, log विनमर बने रहते हैं, performance खतम होती रहते हैं, memory वैभार तीसरी परत है, default रूप से ONX 7 टाइम का studio memory एरना आवंटन को अ
• 14:23
  चलते हैं, जिससे अद्रिश लिटेंसी टाइक्स पैदा होता है, तेल विवार पहले खराब होता है, फिर मीडियन उसका नुसरन करता है, असली दुनिया में लक्षनों का स्याट ऐसा दिखता है, मामली GPO प्योग के बावजूद प्रभावीत रूपूट कम रहता है, हलक
• 14:53
  प्रभावलने जैसा सम, मल्टेस्टेज बिट फिंगरप्रिंट अटा देते, कमपाईलर और डेव टूल्स कभी भी रन टाइम में प्रवेश्च नहीं करते, इक डिस्टोलेस या स्लिम बेस इमेज सर्फेस को कम करती है, पुल टाइम को घटाती है, टॉकर स्लिम या डाइ
• 15:23
  ट्राइवर ब्रांच से मेल खाता है, टार्टप पर डिवाइस के उपस्तिती और ड्राइवर अनकूलता का दावा करें, एन्वीडी SME और LD कॉन्फिगरेशन से जावट के लिए प्रवेश चार्च है, यदि कुछ भी गायब है या बेमेल है तो उसे उल्लंघन की रूप
• 15:53
  सक्षम करें, आइन्ट एट के लिए सटिकता परिश्ण का गेट लगाएं, आयो को डिवाइस मेमरी से बाद दें ताकि इन्पुट वहाँ पहुचे जहां गरना होती है, और हेड़ अफ लाइन प्लॉक निकले स्ट्रीम सावधाने से चुने, इसे दो गेट सेल्थ और पर
• 16:23
  प्रति डाइजेस्ट इमेज सामगरी का डिफ रखें, ताकि रोल बैक कोड और स्वच्छता को बहाल कर सकें, प्रमान बताते हैं कि कंटेनर ना केबल सौफ्ट और तयनात करते हैं, बलकि तनाव में विवाहर को भी एनकोड करते हैं, जब वे शोर करने वाले भारी ये जी
• 16:53
  प्रमान बाइजेशन, प्रमान बाइजेस्ट इसे बहतर होते हैं, इसलिए हम प्रॉंट सेट फिक्स करते हैं, सीड लॉक करते हैं और वाम रन करते हैं, वही शेडियूलर, वही स्टेप्स, 512 के लिए 20-25 और डेक्सर 24 वही है, 24 के लिए 50 तनाव को उजागर करने के लिए
• 17:23
  अच्छाइशन पाथ पर 5 वार, 5 वार पर P52 अंको तक पहुच जाता है, P95 असलिकानी बया करता है, यह प्रत्याशित रूप से 20-40 सेकंड तक भटकता है, क्योंकि Q छोटी अच्छमताओं को बढ़ा देती है, 132, 132, 122 और 50 स्टेप्स पर P95 आते यू लंगन बन जाता है
• 17:53
  फुर्पुर्ट इसकी पुष्टी करता है।
• 17:55
  16 Concurrency पर Degraded Path से बहुत मामली परड़ाम मिलता है।
• 17:58
  Replica के साथ प्रती मिनट इमेज मुश्किल से बढ़ती है
• 18:00
  क्योंकि प्रती एक इंस्डेंस खुद को रोगता है।
• 18:02
  32 तक स्केल करने पर और पुट नहींग बलकि प्रती स्परधा बढ़ती है।
• 18:05
  सुधार के बाद संबन सिधा हो जाता है।
• 18:07
  प्रती मिनट इमेज लगभग रेखी रूप से बढ़ती है जब तक कि टेंसर को ड्यूटी साइकल संतरप्त न हो जाए या वीरेम बैच को कैप न कर दे।
• 18:13
  ढलान का अंतर ही वो प्रमाण है।
• 18:15
  काम वास्त में तेजी से फिनिश लाइन पार करता है न कि के वर शूर के साथ।
• 18:45
  कारण वास्त विक तरण के अलाव और कुछ नहीं हो सकता है।
• 19:15
  के बाद हेड ओफ लाइन ब्लॉकिंग कम हो जाती है।
• 19:17
  लागत का हिसाब सरल है।
• 19:19
  फ्यूजड अटेंशन एफपी सोला और आयो बाइंडिंग सत्यापित होने पर प्रती जीप्यू घंटे अन्रोद 2-5 गुना बढ़ जाते हैं।
• 19:25
  प्रती एक हजार इमेज की प्रभावी लागत उसे अनुसार गिर जाती है।
• 19:29
  कोल्ड स्टार्ट दन कम हो जाते हैं क्योंकि इमेज स्लिम है और इंजन पहले से बने हुए हैं।
• 19:33
  नोट्स पहली बार चलने पर कंपायर टेक्स देना बंद कर देते हैं।
• 19:35
  लेजर और लॉक्स के आंकड़े मेल खाते हैं।
• 19:37
  सत्यापन भागे प्रादार्ट प्रदर्शन ग्रोप।
• 19:39
  एक अलग माइनर ड्राइवर संस्क्रावाले दूसरे नोट पूल पर इसे दोराएं।
• 19:42
  हार्डेंड इमेज जानबूच कर वेमेल नोट पर शुरू होने से इंकार करती है।
• 19:46
  इसलिए परणाम तुलनिया हैं भरमित करने वाले नहीं।
• 19:49
  शम्ता स्नैप्शॉट्स की क्रॉस चेक करें।
• 19:51
  वही प्रताता क्रम, वही टैंसर आर्टी, वही करनल दावे।
• 19:55
  प्राम्स एट को फिर से चलाएं और वितरन को दुबारा कैप्शर करें।
• 19:57
  जब हिस्टोग्राम मेल खाते हैं तो विश्वास बढ़ता है।
• 20:00
  जब वे मेल नहीं खाते हैं तो शम्ता का अंतर कानस पष्ट करता है।
• 20:03
  अंत में संख्याय तरक नहीं करती हैं परणाम साबित करती है।
• 20:05
  लेटेंसी घरती है, थूपट बढ़ता है, उपयोग स्थिर हो जाता है।
• 20:08
  यह समस्या कालपनिक नहीं है।
• 20:10
  यह मापने योग्य है और हर ग्राफ पर इसके निशान दिखाई देते हैं।
• 20:14
  उपचार प्रोटोकॉल, एक धोराने योग यह हादनिंग चेकलिस्ट।
• 20:18
  प्रवेश ने अंदर सबसे पहले आता है।
• 20:20
  यदि टेंसर राटी या सुड़ा निश्पादन परदाता मौझूद नहीं है, तो शुरू करने से इंकार करें।
• 20:24
  प्रदाताओं को सुचिबत करें, डिवाइस संख्या सत्यापित करें, चमता स्नैप्शॉट, सुडन, एफपिसो लाइन टेट वर्क्सपेस प्रिंट करें, वर्क्सपेस प्रिंट करें।
• 20:31
  यदि कुछ भी कायव है, तो नौन जिरो एकजिट करें, तो प्लब्धता अखंटा कानुसरन करती।
• 20:35
  संस्करान पिनिंग ही आधार है, एक सिंगल मैट्रिक्स ड्राइवर ब्रांच, सुड़ा माइनर से सुडियनन, ONX, रंटाइम, बिल्ध हैश, टेंसर आर्टी बनाए रखें, उस मैट्रिक्स के आधार पर इंफ्रेंस इमेज बनाए, नोर्स को मेल खाने के लिए लेबल करे
• 21:05
  बजट सेट करें, जो इमेज आकार में बढ़ जाएं, उने फेल करें, इमेज साइन करें, और डाइजस के लुसार अंतर देगें, सबसे पहले जीप्यू कॉन्फिगर करें, एपी करम को टेंसर राटी सिउडा पर लॉक करें, प्रोडक्शन में CPU प्रताता को अक्षम करें
• 21:35
  करें, जब ओर टी क्यूडा एरीना वर्किंग सेट से आगे रुख जाए, तो उसे फिर से ट्यूनी आक्षम करें, प्रदर्शन एसको कूड के रूप में सेट करें, स्टार्ट अप पर प्रॉंट राटेंसी विंडो और यूटलाइज़ेशन फ्लोर के साथ साथ सर्फ टे
• 22:05
  सबक्सफस्ट और तत्यात्म, साइरेंट सीप्यू फॉल बैक, वर्जन डिफ्ट और कंटेनर, लोट बग नहीं है, यह अन्मानित विफलता पैटर्न है, जिने आप रोख सकते हैं, प्रोटोकॉल चलाएं, चीप्यो को इंस्ट्रुमेंट करें, खराब पात को अस्वी कार