Latest / M365.FM – Podcast Microsoft 365, Copilot & AI Bahasa Indonesia / Inferensi GPU lambat terungkap: fallback ke CPU, konflik versi CUDA/TensorRT, dan kesalahan kontainer (Sulih Suara AI)

Transcript

Inferensi GPU lambat terungkap: fallback ke CPU, konflik versi CUDA/TensorRT, dan kesalahan kontainer (Sulih Suara AI) · M365.FM – Podcast Microsoft 365, Copilot & AI Bahasa Indonesia

0:00
Dimulai dengan sebuah peringatan, lalu keningat.
0:02
Tagian GPU melonjak seolah akselerator tidak pernah tidur,
0:05
namun output merayap seolah lampu padam.
0:07
Dasbor berwarna hijau pelanggan tidak.
0:10
Anomal itu tidak masuk akal.
0:12
Pemanfaatan GPU hampir nol saat latensi melonjak.
0:15
Tidak ada peringatan, tidak ada garis merah, hanya waktu yang menguap.
0:18
Bukti menunjukkan satu patologi yang menyamar sebagai kondisi normal.
0:22
Inilah janjinya.
0:23
Kami akan melacak artefak, menyebut pelakunya, dan memperbaiki patologi tersebut.
0:26
Kami akan memeriksa tiga mode, kegagalan, cadangan CPU, ketidakcocokan versi dicuda, dan ON extensor RT,
0:32
serta kesalahan konfigurasi kontainer,
0:34
dan kami akan membuktikannya dengan atensi, throughput, dan pemanfaatan CPU sebelum dan sesudahnya.
0:39
Pengaturan kasus, lingkungan, dan profil korban.
0:41
Setiap konfigurasi memiliki cerita, dan ini dimulai dengan penyewa biasa di bawah tekanan.
0:46
Beban kerjanya adalah difusi teks ke gambar,
0:48
varian difusi stabil yang berjalan pada 512 x 512 dan ditingkatkan ke 1024 x 1024 x 1024.
0:54
Lintas bersifat tidak menang.
0:55
Konkurensi mendorong antara 8 hingga 32 permintaan.
0:58
Ukuran batch berkisar dari 1 hingga 8.
1:00
Tingkat layanan sangat ketat pada latensi ekor.
1:02
Pelanggaran P95 berimplikasi langsung pada kredit dan penalti.
1:05
Model-modelnya tidak eksotis, tetapi pilihannya penting.
1:08
Pipa difusi stabil yang diekspor ONNX,
1:10
pengoptimalan perhatian silang seperti eksformas atau atensi titik skala,
1:14
dan pilihan penjatual yang menukar langkah demi kualitas.
1:17
Ekosistem seharusnya berakselerasi, jika infrastrukturnya jujur.
1:21
Rangkat keras terlihat ke sekertas.
1:22
Kartu NVIDIA RTX dan seri A di Cloud 16 hingga 32 GB VRAM.
1:27
PCEU berada di antara host dan perangkat seperti gerbang tol.
1:30
Cukup cepat jika dikonfigurasi,
1:32
menghukum jika ikatan EU beralih ke transfer yang dapat di page.
1:34
Di lingkungan ini tidak ada yang kebetulan.
1:36
Rantai alat bertumpuk dalam lapisan yang familiar.
1:38
Pytouch digunakan untuk ekspor,
1:40
lalu runtime ONNX atau tensor ET mengambil alih untuk inferensi.
1:43
Driver Cuda berada di bawah segalanya.
1:44
Kernel atensi menjanjikan kecepatan jika versinya selaras.
1:47
Penyebaran dilakukan secara ketat dalam kontainer.
1:50
Gambar yang tidak dapat diubah.
1:51
Peluncuran yang dikontrol CA biru-hijau berdasarkan kebijakan.
1:54
Kendala itu seharusnya menciptakan keaman.
1:56
Juga bisa membuatkan cacat selamanya.
1:58
Taruhan bisnisnya tidak abstrak.
1:59
Biaya perpermintaan menentukan margin.
2:01
Reservasi GPU dihargai per jam terlepas dari apakah kenal perjalanan nototip.
2:04
Ketika latensi membentang dari detik menjadi setengah menit,
2:07
trupu-trupu.
2:08
Satu kesalahan konfigurasi mengubah akselerator menjadi pemanas,
2:11
mahal, sunyi, dan sibuk melakukan sesuatu yang tidak membantu antrean.
2:14
Setelah pemeriksaan lebih dekat, profil korban menyempit.
2:17
Konkurensi pada 16,
2:18
BATS pada 2 untuk tetap di bawah batas firam pada 512,
2:21
meningkat ke 2025 untuk kualitas.
2:24
Penyewa mengharapkan P-1005 yang konsisten.
2:27
Sebaliknya, pelacakan menunjukkan latensi yang tidak menentu
2:30
delta lebar antara P-50 dan P-1005.
2:32
Dan siklus tugas GPU berosilasi dari 5% tanpa alasan yang jelas.
2:37
Grafik CPU menunjukkan kebenaran yang berbeda.
2:39
Inti prosesor bekerja penuh tanpa alasan pemrosesan awal.
2:41
Bukti menunjukkan tiga kemungkinan.
2:43
Pertama, fallback CPU.
2:45
Saat penyedia eksekusi CUDA atau tensor RT gagal dimuat,
2:48
mesin diam-diam memilih grafik CPU.
2:50
Modal berjalan tetapi latensinya 10 kali lipat.
2:53
Kedocokan versi.
2:54
Runtime ONX dikompilasi dengan CUDA tertentu.
2:57
Node menjalankan yang lain.
2:58
Mesin tensor RT tidak valid dan dibangun ulang dengan kernel generik.
3:02
Pemanfaatan terlihat tetapi jalur cepatnya hilang.
3:05
Ketiga, kesalahan konfigurasi kontainer.
3:07
Gambar membengkak, pemasangan perangkat GPU hilang,
3:09
pengaturan toolkit kontainer NVIDIA salah,
3:11
dan arena memori menahan alokasi
3:13
yang memperburuk latensi TL di bawah beban.
3:15
Pada akhirnya, ini bukan misteri tentang model.
3:17
Ini adalah kasus tentang kebenaran versi.
3:19
Kami akan melacak artefak, urutan penyedia,
3:22
log kemampuan, pemasangan perangkat,
3:24
dan mengorelasikannya dengan tiga metrik utama,
3:26
latensi, throughput, dan pemanfaatan GPU.
3:28
Semuanya dimulai dengan permintaan yang seharusnya butuh beberapa detik.
3:38
Pengukur GPU diam, terlalu diam.
3:41
Grafik CPU sementara itu melonjak seperti alam kebakaran.
3:44
Setelah diperiksa lebih dekat,
3:45
mesin telah membuat pilihan.
3:46
Mesin menjalankan tugas berbiaya GPU di atas CPU.
3:48
Tidak ada peringatan yang muncul.
3:49
Output akhir dikembalikan.
3:51
Inilah penyambut senyap itu.
3:53
Fallback CPU.
3:54
Mengapa hal ini penting sangatlah sederhan.
3:55
Stable division di CPU adalah pemborosan waktu.
3:58
Model bekerja, tetapi latensinya berlipat kendah.
4:00
10 hingga 30 kali lebih lambat.
4:01
Dan throughput runtuh.
4:03
Dalam lingkungan yang menjual milik detik,
4:04
kesenjangan itu fatal.
4:06
Tagian terus menghitung waktu GPU,
4:07
padahal perangkat tidak melakukan pekerjaan tersebut.
4:09
Lini masa mengungkapkan polain.
4:10
Kontainer yang berjalan secara lokal dengan cuda sangat cepat.
4:13
Ditarapkan kemat kluster dengan tumpukan driver yang sedikit berbeda.
4:16
Kontainer yang sama melakukan booting,
4:17
layani pemeriksaan kesehatan,
4:18
lalu kinerjanya menurun.
4:20
Endpoint kesehatan hanya meniksa apakah server aktif.
4:22
Jadi ia tidak pernah meniksa apakah GPU benar-benar mengeksekusi.
4:25
Di lingkungan ini tidak ada yang terjadi secara kebetulan.
4:27
Gendingan adalah sebuah artefak.
4:29
Artefak utamanya adalah urutan penyedia eksekusi di runtime ONNX.
4:33
Mesin menerima daftar.
4:35
Coba tensor RT, lalu cuda, baru kemudian CPU.
4:37
Jika cuda gagal melakukan inisialisasi driver salah,
4:40
pustaka hilang, perangkat tidak terpasang ORT
4:42
akan diam-diam mengikat penyedia eksekusi CPU.
4:44
Tanpa pengecualian, tanpa crash,
4:46
hanya satu baris dalam log seringkali tersembur.
4:48
Penyedia eksekusi cuda tersedia,
4:50
beralih ke CPU.
4:52
Pada situ adalah pengakuan yang jarang dibaca tim.
4:54
Inilah bagian aneh.
4:55
Bagan pemanfaatan terlihat normal pada pandangan pertama.
4:58
Permintaan tetap selesai.
5:00
Peta layanan menunjukkan status hijau.
5:01
Tetapi siklus tugas GPU tertahan di 5%
5:03
sementara waktu pengguna CPU melonjak tinggi dan mendatar.
5:06
Latensi P50 melonjak 4 kali lipat dan P95 menjadikan.
5:09
Lalu intasi melonjak tiba-tiba meperlu.
5:11
Antrean menumpuk dan peskalan otomatis menambah replika
5:13
yang semuanya mewarisi kelemahan esat.
5:14
Bayangkan ini seperti tim Estafet
5:16
di mana pelari cepat tidak pernah muncul,
5:17
sehingga pustakawan yang harus berlar.
5:19
Tongkat Estafet berpindah tetapi tidak dengan kecepatan.
5:21
Dengan kata lain,
5:22
sistem Anda memberikan kebenaran
5:23
dengan mengorbankan seluruh anggaran SLO.
5:25
Artefak menumpuk dengan cepat
5:27
saat Anda menelusuri urutan boot.
5:29
Log pemuatan penyedia menunjukkan upaya inisialisasi cuda
5:31
dengan pemeriksaan versi dev.
5:33
Jika kontainer dibangun dengan cuda 12.2
5:35
tetapi node hanya memiliki 12.0.
5:37
Inisialisasi gagal.
5:39
Jika perangkat lunak NVIDIA kontainer toolkit
5:41
tidak dikonfigurasi,
5:42
pemasangan perangkat tidak pernah muncul di dalam kontainer.
5:44
Tanpa dev per NVIDIA tidak ada lipcuda.
5:47
Sipot tidak meminta GPU secara eksplisit.
5:49
Penjadwal tidak akan pernah menetapkan perangkat tersebut.
5:52
Salah satu dari hal ini
5:53
memicu penurunan performa secara diam-diam.
5:55
Reproduksinya sangat mudah.
5:57
Pada node yang salah konfigurasi,
5:58
inferensi sederhana mencetak penyedia eksekusi CPU
6:00
padahal Anda mengharapkan penyedia
6:02
eksekusi tensor RT atau cuda.
6:07
Kirim satu perintah 5.0.12.
6:09
GPU tetap diam.
6:11
Tread CPU melonjak,
6:11
gambar muncul dalam 20-40 detik alih-alih 2 hingga 6 detik.
6:15
Ulangi pada node dengan driver dan pemasangan yang tepat.
6:17
Perintah yang sama selesai dalam waktu jauh lebih singkat
6:19
dan siklus tugas GPU melonjak kerentang yang stabil.
6:22
Bukti menunjukkan bahwa
6:23
atasan keamanan saat ini hanya rasa dibara.
6:25
Pemeriksaan kesehatan mengembalikan 200
6:27
karena server merespon.
6:28
Tidak ada pernyataan startup
6:29
bahwa jalur GPU aktif.
6:31
Pemeriksaan kinerja tidak ada
6:32
sehingga orkestrasi menganggap replika
6:33
dalam kondisi sehat.
6:34
Sistem tidak bisa membedakan
6:35
antara akselerasi dan emulasi.
6:38
Tindakan pencegahannya dirancang dengan tekat.
6:39
Gagal total jika penyedia eksekusi GPU
6:41
tidak ada atau mengalami penurunan fungsi.
6:43
Pala untuk memulai dengan CPU
6:45
di lingkungan produksi.
6:47
Saat proses diluncurkan,
6:48
hitung penyedia,
6:49
pastikan tensor LT atau CUDA dimuat
6:50
dan jumlah perangkat sesuai harapan.
6:54
Cotat set kemampuan,
6:55
QDNN inti tensor yang tersedia
6:57
batas memori dan keluar
6:58
dengan kode 00 jika ada yang hilang.
7:01
Tukarkan ketersediaan dengan integritas
7:03
biarkan orkestrator menjadwalkan ulang
7:04
di node yang sehat
7:05
agar tetap terjaga
7:06
terapkan verifikasi penggiatan IO.
7:08
Ikat input dan output
7:09
ke memori perangkat
7:10
dan validasi inferensi sepele
7:11
saat startup.
7:13
Satu kali pemanasan
7:13
yang menjalankan kernel-kernel
7:14
fused attention.
7:16
Jika waktu melampaui ambang latensi,
7:18
anggap jalur mengalami penurunan
7:19
dan gagalkan potosber.
7:20
Tambahkan set perintah canari
7:21
dengan benih deterministik.
7:23
Bandikan latensi terhadap
7:24
jendela garis dasar.
7:26
Jika penyimpangan melebihi toleransi,
7:27
Anda beri peringatan ke tim produksi
7:28
dan hentikan peluncur.
7:29
Ini mungkin terlihat keras
7:30
tetapi alternatifnya jauh lebih buruk.
7:32
Sebuah kluster yang berfungsi
7:33
namun menghabiskan waktu dan anggaran.
7:35
Kunci urutan penyedia
7:36
tolak cadangan CPU
7:37
dan paksa sistem
7:38
membuktikan kecepatannya
7:39
sebelum diandap aktif.
7:40
Hanya dengan begitu,
7:41
hijau berarti dipercepat.
7:44
Bukti berkas B,
7:45
ketidakcocokan versi,
7:46
inkompatibilitas CUDA ONN X Tensor RT.
7:49
Jika GPU tidak digunakan,
7:50
pertanyaan berikutnya adalah
7:51
apakah ia bisa bekerja maksimal saat ada?
7:54
Bukti menunjukkan kegagalan
7:55
yang lebih halus.
7:56
Versi cukup selaras untuk berjalan,
7:57
namun tidak cukup untuk membuka cadangan cepat.
8:00
Sistem terlihat dipercepat
8:01
sampai Anda melihat penunjuk waktunya.
8:03
Alasan hal ini penting cukup sudah dipaham.
8:05
Pipa difusi sangat bergantung
8:06
pada performa atensi.
8:07
Saat ONN X Runtime
8:08
dan Tensor RT
8:09
tidak bisa memuat kernal gabungan
8:10
yang diharapkan
8:11
karena versi CUDA,
8:12
CUDA NN
8:13
atau Tensor RT tidak cocok,
8:14
mereka diam-diam beralih
8:15
ke implementasi generik.
8:17
Model tersebut berfungsi.
8:19
Manfaatan berada di kisaran 30
8:20
hingga 50%
8:21
dan latensi melampaui anggaran.
8:24
Pionnya terlihat sama,
8:25
pekerjanya lebih lambat.
8:26
Setelah diperiksa lebih teliti,
8:27
artefaknya tepat.
8:29
Rok pemuatan penyedia
8:30
menyatakan sukses dengan sebuatan.
8:32
Beralih ke kernel default
8:33
atau X-Formers
8:34
dinonaktifkan.
8:36
Anda akan melihat
8:36
deserialisasi rencana Tensor RT
8:38
gagal dengan pembangunan
8:39
ulang engine yang tidak kompatibel
8:40
yang memicu kompilasi pada node.
8:42
Engine yang dibuat pada satu versi
8:43
Minotensor RT
8:44
tidak akan bisa dideserialisasi perversi.
8:46
Pembangunan ulang selesai,
8:47
tetapi rencana yang dihasilkan
8:48
mungkin menghilangkan
8:49
atensi gabungan
8:50
atau optimasi FP16.
8:51
Perlombaan selesai.
8:53
Tanpa lonjakan,
8:53
siklus kerja Core Tensor tetap rendah.
8:56
Inilah bagian yang berlawanan
8:56
dengan intuisi.
8:57
Tim menganggap bahwa
8:58
jika program berjalan,
8:59
berarti itu sudah optimal.
9:00
Dalam lingkungan ini,
9:01
tidak ada yang kebetulan.
9:03
Jika scale dot product attention
9:04
tidak aktif,
9:05
jika X-Formers mati,
9:06
jika 2DNN melaporkan
9:07
ruang kerja terbatas,
9:08
performa menurun secara halus.
9:10
Versi sederhananya adalah
9:11
binar yang tidak cocok
9:12
memaksa kernel menggunakan
9:13
lebih banyak pergerakan memori
9:14
dan keberatan matematika yang lebih.
9:16
PCI menjadi terlihat
9:17
dalam pelacakan.
9:18
Atensi ekor bergeser seiring,
9:19
meningkatnya konkurensi.
9:20
Anggap tumpukan sebagai perangkat kunci.
9:22
Driver,
9:23
Toolkit Cuda,
9:24
2DNN,
9:25
tanda Build Runtime ONX,
9:26
dan
9:26
Tensor RT.
9:28
Satu geriknya tidak pas kunci
9:29
hanya berputar satu.
9:31
ORT mengiklankan grafik
9:32
kapabilitas berpenyedia eksekusi.
9:34
Jika ORT yang dikompilasi
9:35
mengharapkan Cuda 12.2,
9:37
namun driver node
9:37
menampilkan 12.1.
9:39
Cuda dimuat dengan fitur terbatas
9:41
atau tidak sama sekali.
9:42
Jika Tensor RT adalah
9:43
8.6 pada node,
9:45
tetapi
9:45
rencana
9:46
dibuat dengan 8.4
9:47
deserialisasi gagal
9:48
dan dibuat ulang
9:49
dengan taktik konservatif.
9:50
Sistem lebih memiliki kebenaran
9:51
daripada kecepatan secara diam-diam.
9:53
Polo ukur membuktikan
9:54
kerugian tersebut secara praktis.
9:55
Dengan X4 MERS
9:56
atau SDP aktif,
9:57
atensi difusi menurunkan
9:58
waktu jam dinding secara terukur.
10:00
Penelitian secara konsisten
10:01
menunjukkan percepatan 2X
10:02
hingga 5X
10:03
pada jalur atensi
10:03
tergantung pada resolusi dan ukuran B.
10:05
Nonaktifkan fitur tersebut
10:06
karena perkesan versi
10:07
dan Anda akan kehilangan pengertian.
10:09
Penggabungan token TOME
10:10
bertumpuk
10:10
dengan keuntungan ini.
10:12
Tanpa kenal gabungan,
10:14
manfaatnya terhambat oleh
10:14
bandwidth memori
10:15
dan tata letak
10:16
yang tidak dioptimalkan.
10:17
Senjangan semakin membesar
10:18
pada 1024 x 1024
10:20
dan konkurrensi yang lebih tinggi.
10:21
Untuk mengacak artefak,
10:22
mulailah dengan
10:23
enumerasi kapabilitas.
10:24
Saat startup,
10:25
cetak daftar penyedia yang tepat
10:26
dan fitur yang dilaporkan.
10:28
Versi Tensor RT,
10:29
ketersediaan FP16
10:30
dan INT8,
10:32
ruang kerja maksimum,
10:33
heuristik konvolusi CU DNN,
10:35
kehadiran,
10:36
NCCL untuk multi-JPU.
10:38
Untuk runtime ONX,
10:39
tampilkan prioritas EP.
10:41
Tensor RT,
10:42
sudah,
10:42
verifikasi mana yang sebenarnya
10:44
terikat pada node graph Anda.
10:46
Catat apakah node attention
10:47
ditetapkan ke tensor RT
10:49
dengan kernel gabungan
10:50
atau ke kernel CUDA generik.
10:52
Selanjutnya,
10:53
periksa lingkungan.
10:54
Query driver tersebut.
10:55
NVIDIA SME menunjukkan
10:56
modul kernel
10:57
dan kompatibilitas CUDA.
10:58
Baca versi lib
10:59
di dalam kontainer.
11:00
Lib CUDA,
11:01
Lib 12,
11:01
Lib Cuden,
11:02
Lib Enfin Fur.
11:03
Jika image membawa
11:04
pustaka CUDA 12 di 3
11:06
tetapi driver host
11:06
hanya mendukung hingga 12 di 3,
11:08
mode kompatibilitas runtime
11:09
mungkin dimuat dengan batasan.
11:10
Jika image mengharapkan
11:12
header tensor RT 8.6
11:14
tetapi plug-in node
11:14
menyediakan 8.4,
11:16
panggilan API akan menurun
11:17
atau membatalkan optimalisasi tertentu.
11:18
Remediasinya adalah
11:19
matrix build,
11:20
bukan sekadar harap.
11:21
Sematkan versi yang tepat
11:22
dalam satu sumber kebenaran.
11:24
Image dasar
11:24
dengan kompatibilitas driver,
11:26
CUDA minor,
11:27
CUDA NN,
11:28
has build ORT,
11:29
dan versi tensor RT.
11:31
Buat image inferensi
11:31
berdasarkan matrix tersebut
11:32
dan tolak node yang tidak cocok
11:33
melalui label node
11:34
dan pemeriksaan penerimaan.
11:36
Prabangun dan catch engine
11:37
tensor RT
11:37
untuk setiap varian model
11:38
dan resolusi pada versi tensor RT
11:40
yang tepat yang Anda terapkan.
11:41
Perlakukan file rencana
11:42
sebagai artefak yang terikat pada matrix.
11:44
Jangan pernah mengandalkan
11:45
pembuatan engine
11:46
di node saat produksi.
11:47
Hal itu menutupi penyimpangan
11:48
dan memperlambat call start.
11:50
Agar tetap konsisten,
11:51
tambahkan uji smoke CE
11:52
yang memastikan kapabilitas kernel.
11:54
Jalankan container di runner
11:55
terisolasi dengan driver target
11:56
dan verifikasi.
11:58
Tensor RT membuat kernel FP16
11:59
yang digunakan.
12:00
Node attention digabungkan.
12:02
Binding IO aktif,
12:02
exformers atau SDP diakui.
12:05
Jalankan set prompt deterministic
12:07
dan gadalkan build
12:08
jika latensi melebihi
12:09
jenela dasar
12:09
atau jika log berisi
12:11
bahasa fallback apapun.
12:13
Simpan snapshot kapabilitas
12:15
bersama di guest image
12:16
agar rollback
12:16
memulihkan kode
12:17
dan karakteristik kinerja.
12:20
Pada akhirnya,
12:20
bukti menunjukkan bahwa
12:21
penyimpangan versi bukan lapak.
12:22
Itu adalah kecepatan yang harus.
12:23
Sistem akan berjalan.
12:25
Jam akan menjadi saksi.
12:27
Bukti file C
12:27
container
12:28
erosi efisiensi
12:30
akibat salah konfigurasi
12:31
secara desain.
12:33
Bahkan saat versi selaras,
12:34
container dapat menyambut
12:35
tasa efisiensi dari dalam.
12:36
Bukti menunjukkan kebocoran perlahan,
12:39
image membengkak,
12:40
hilangnya plumbing GPU,
12:41
dan perilaku alokator
12:42
yang mendistorsi latensi
12:43
di bawah beban.
12:44
Tidak ada yang crash.
12:45
Semuanya mengandungnya.
12:47
Mengapa ini penting sangat sederhana?
12:49
Container membingkai
12:49
realitas runtime.
12:51
Jika image terlalu besar
12:52
dan cold start melambat,
12:54
replika terlambat
12:54
menangani inside den.
12:56
Jika perangkat GPU
12:57
tidak dipasang
12:58
atau runtime kekurangan flag yang tepat,
12:59
penyedia eksekusi
13:00
akan berperilaku tidak semestinya.
13:02
Jika arena memori
13:02
menambung alokasi,
13:03
Ramchon akan memicu paging
13:04
dan lonjakan ekor
13:05
TL spikes.
13:06
Wadilan baik-baik saja.
13:08
Container secara diam-diam
13:08
membebani setiap permintaan.
13:10
Setelah diperiksa lebih dekat,
13:12
artefak menumpuk
13:12
pada waktu build.
13:14
Gambar melebihi 2 GB
13:15
sarat dengan compiler,
13:16
header,
13:16
dan aset pengujian
13:17
karena tidak ada
13:18
multi-stage build.
13:19
Docker ignore,
13:20
hilang,
13:20
mengundang notebook,
13:21
charge,
13:21
dan bobot eksperimental
13:22
masuk ke lapisan produksi.
13:24
Setiap deployment
13:25
menarik gigabyte data
13:26
melalui jaringan.
13:27
Kalahkan itu
13:28
ke seluruh node pool,
13:29
maka cold start
13:29
menjadi kebijakan,
13:30
bukan pengecualian.
13:32
Buktinya tidak misterius.
13:33
Docker history
13:33
menceritakan kisahnya
13:34
dalam lapisan-lapisan.
13:35
Rantai mengungkapkan
13:36
tingkat erosi kedua.
13:37
Tanpa flag GPU eksplisit,
13:39
tidak ada GPU di Docker
13:40
atau konfigurasi device plugin
13:42
yang hilang di Kubernetes.
13:43
Proses tidak melihat
13:44
perangkat hash,
13:45
dev, NVIDIA.
13:47
Salah konfigurasi
13:48
NVIDIA container toolkit
13:49
menyembunyikan lib cuda.
13:51
Begitu seterusnya,
13:52
sehingga execution provider
13:53
dimuat dengan batasan
13:53
atau gagal dimuat sama sekali.
13:55
MEG tidak ditegakkan,
13:56
sehingga beban kerja
13:57
berebut potongan memori
13:58
dan membuang sumber daya
13:59
yang tidak dipahami pencet wall.
14:00
Log tetap tenang
14:01
sementara performa
14:01
terus menurun.
14:02
Perilaku memori adalah
14:03
tingkat ketika.
14:04
Secara default,
14:05
arena memori cuda pada
14:06
ONN X rantai
14:06
melakukan change alokasi ship.
14:08
Di bawah konkurensi,
14:09
itu tampak stabil.
14:10
Sampai,
14:10
arena melakukan over-reserve
14:11
dan membuat permintaan
14:12
baru kekurangan sumber daya.
14:14
Pined memory tidak diatur,
14:15
sehingga transfer host
14:16
ke perangkat terjadi
14:17
melalui buffer yang dapat di-patch,
14:18
mengubah PCIe menjadi hambatan.
14:20
IO tidak terikat ke perangkat,
14:22
sehingga tensor memantul
14:22
antara CPU dan GPU
14:23
menciptakan beban latensi
14:25
yang tak terlihat.
14:26
Perilaku tail memburuk
14:27
lebih dulu,
14:27
kemudian median menyusup.
14:28
Inilah tampilan rangkaian
14:29
kejalannya di lapangan.
14:31
Trueput efektif tertinggal
14:32
meskipun penggunaan GPU moderat.
14:34
Latensi di bawah beban ringan
14:35
dapat diterima,
14:36
tetapi P1N menggoyah
14:37
di bawah konkurensi
14:38
lalu melonjak
14:38
secara tidak terduga.
14:40
OM-Kill
14:40
sesekali mengatur ulang
14:41
replika pada lulintas puncak
14:42
menciptakan perilaku
14:43
kawanan hard behavior.
14:44
Reset beruntung
14:44
autoscaling menjadi kacau
14:46
dan antrean terbentuk kembali.
14:47
Operator mengejar
14:48
penyebab yang salah
14:48
mengira modelnya berat
14:49
padahal kebijakan kontainernya
14:50
yang menyebabkan keruntuhan.
14:52
Anggap kebersihan kontainer
14:53
sebagai penanganan buku.
14:54
Multi-stage build
14:54
menghapus sejak sidik-dik.
14:56
Compiler dan alat pengembang
14:57
tidak pernah masuk ke runtime.
14:59
Image dasar distroles
15:00
atau slim
15:00
mempersempit permukaan
15:01
dan mempersingkat waktu pull.
15:03
Audit docker slim
15:03
atau dev
15:04
mengonfirmasi apa yang bertahan
15:05
setelah build.
15:06
Docker ignore
15:06
yang mencegah penambahan ukuran
15:07
yang tidak disengaja.
15:09
Hasilnya adalah
15:09
kebersihan forensik.
15:11
Yang berjalan
15:11
hanyalah apa yang seharusnya berjalan.
15:13
Instalasi GPU
15:13
membutuhkan pernyataan eksplisit.
15:15
Di docker
15:15
deklarasikan GPU
15:16
sebagai all
15:17
atau potongan
15:17
MEG yang tepat.
15:19
Di Kubernetes
15:20
minta sumber daya
15:21
NVIDIA.com GPU
15:21
dan pastikan device plugin
15:23
cocok dengan cabang refer Anda.
15:25
Saat startup
15:26
pastikan kehadiran perangkat
15:27
dan kompetibilitas driver.
15:28
NVIDIA SMA
15:29
dan LDConfig
15:29
bukan untuk hiasan
15:30
melainkan pemeriksaan akses.
15:32
Jika ada yang hilang
15:32
atau tidak cocok
15:33
catat sebagai pelanggaran
15:34
dan keluar.
15:35
Kemudian atur
15:35
OLX runtime
15:36
dan dansor RT
15:37
dengan sengaja.
15:38
Kunci urutan
15:38
execution provider
15:39
ke jalur GPU
15:40
saja dalam produksi.
15:41
Pertimbangkan
15:42
untuk menonaktifkan
15:43
atau mensuikan
15:43
kembali arena memori
15:44
CUDA
15:44
saat ia menimbun
15:45
melebihi working setan.
15:47
Batasi pertumbuhan
15:47
atau tetapkan
15:48
praalkasi kebatas
15:49
hingga pedipriksi.
15:51
Aktifkan FP16
15:51
secara default
15:52
jika batas akurasi
15:53
mengizinkannya.
15:53
Batasi inti 8
15:55
dibalik uji akurasi.
15:57
Ikat IO ke memori perangkat
15:58
agar input tiba
15:59
di tempat komputasi berada
16:00
dan pilih stream
16:00
secara sengaja
16:01
untuk mencegah
16:02
head offline blocking.
16:04
Terapkan ketetapan
16:04
dengan dua gerbang
16:05
kesehatan dan kinerja.
16:06
Kesehatan bukan sekadar
16:07
status 200
16:08
melainkan snapshot
16:09
kemampuan yang terverifikasi.
16:10
Penyedia dimuat
16:11
kernel gabungan hadir
16:12
inti tensor
16:12
diakui IO terikat
16:13
IO terikat.
16:15
Kinerja adalah
16:16
set form dasar
16:17
yang dijalankan
16:17
saat startup
16:18
dengan jendela latensi
16:19
dan ambang pemanfaatan.
16:21
Jika konter
16:21
tidak dapat mencapai keduanya
16:22
ia tidak diizinkan masuk klien.
16:24
Lampirkan anggaran
16:25
ukuran pool ke CI
16:25
agar gambar yang melebihi
16:26
ambang batas
16:27
menggagalkan build.
16:28
Simpan divisi gambar
16:29
perdigias
16:30
agar rollback
16:30
memulihkan kode
16:31
dan kebersihan.
16:33
Bukti menunjukkan
16:34
bahwa kontainer
16:34
tidak hanya menyebarkan
16:35
perangkat lunak
16:36
tetapi juga menyandikan
16:37
perilaku di bawah tekan.
16:38
Saat mereka bising,
16:39
berat atau tidak jelas
16:40
tentang GPU
16:40
mereka mengubah
16:41
akselerasi menjadi seremonial.
16:43
Saat mereka ramping
16:44
eksplisit dan tegas
16:45
mereka menjaga jalur cepat
16:45
yang Anda bayar.
16:46
Di lingkungan ini
16:47
tidak ada yang terjadi
16:48
secara kebetulan.
16:48
Kontainer tersebut
16:49
membantu GPU
16:50
melakukan tugasnya
16:50
atau justru menghalanginya.
16:52
Laboratorium forensik
16:53
metri yang menghukum.
16:54
Latensi, throughput,
16:55
pemanfaatan.
16:56
Bukti lebih baik
16:57
daripada opini
16:58
jadi kita perbaiki
16:58
set prompt, kunci seed
16:59
dan jalankan pemanasan.
17:01
Penjadwal yang sama,
17:02
langkah yang sama.
17:03
2025 untuk 5NAS12
17:04
diperluas menjadi 50
17:05
untuk 1024 x 1024
17:07
x 1024
17:08
untuk menunjukkan ketegangan.
17:10
Konkurensi ditahan pada 16
17:11
dengan penyapuan hingga 30.
17:13
Ukuran batch dimulai dari 1
17:14
meningkat dengan hati-hati
17:15
hingga batas veram bicara.
17:16
Tanpa ekstrapolasi,
17:17
tanpa alasan,
17:18
hanya jam dan penghitung.
17:19
Latensi bersaksi lebih dulu.
17:22
Dalam kondisi terdegradasi,
17:23
fallback CPU
17:23
atau jalur atensi generik
17:25
P50
17:25
pada 5 plus 12 kali
17:26
5 plus 12 digit.
17:28
P95 menceritakan kisah yang sebenar.
17:30
Itu berkeliaran hingga
17:31
24 politik
17:32
secara tak terduga
17:33
karena antren memperparah
17:34
ketidakkevisienan kecil.
17:36
Pada 1024 x 1024
17:37
dengan 50 langkah,
17:38
P90 sangkah
17:39
P95 menjadi pelanggaran satimar.
17:41
Setelah perbaikan,
17:41
GPU EP terkunci,
17:43
atensi gabungan aktif,
17:44
IO terikat ke perangkat P50
17:46
kembali ke 1 digit rendah
17:47
dan P95 terkompresi
17:49
sesuai anggaran.
17:50
Rentang menyusut,
17:51
sistem menjadi dapat diprediksi.
17:53
Teruput menguatkan.
17:55
Pada konkurensi 16,
17:56
jalur terdegradasi
17:56
hanya menghasilkan sedikit alir.
17:58
Gambar per menit
17:59
hampir tidak naik
17:59
dengan replika
18:00
karena setiap instans
18:01
terhambat sendiri.
18:02
Peningkatan ketiga persaingan
18:04
bukan output.
18:05
Setelah perbaikan,
18:06
hubungan menjadi lur.
18:07
Gambar per menit naik
18:08
hampir linear
18:08
hingga siklus kerja
18:09
inti tensor jenuh
18:10
atau virem
18:11
membatasi batch.
18:13
Perbedaan kemiringan
18:14
adalah buktinya.
18:15
Pekerjaan benar-benar
18:15
melewati garis finish
18:16
lebih cepat
18:17
bukan hanya lebih bisik.
18:18
Kemanfaatnya menutup kasus ini.
18:19
Sebelumnya,
18:20
siklus tugas GPU
18:21
menganggur di antara
18:21
persentase
18:22
dan 50%
18:23
dengan lembah datar yang panjang.
18:25
Penghitung PCI
18:25
menunjukkan derau
18:26
dari transfer
18:27
yang dapat di page.
18:28
Setelahnya,
18:30
siklus tugas stabil
18:31
ke dalam pita yang tinggi
18:32
dan konsisten
18:33
dengan keterlibatan
18:33
tensor core
18:34
yang terlihat.
18:36
GPU kembali
18:36
ke orkestrasi
18:37
dan prapemerosesan ringan.
18:39
Lonjakan PCI terkompresi
18:40
karena memori
18:41
yang disematkan
18:41
dan pengikatan IEO
18:42
menghilangkan lalu lintas
18:43
yang tidak perlu.
18:44
Tidak ada hal lain
18:45
yang menjelaskan perubahan itu
18:45
selain akselerasi nyata.
18:47
Kami menambahkan
18:47
pemeriksaan silat.
18:48
Di bawah 512 x 512
18:50
langkah 2025
18:51
jalur tetap
18:51
mempertahankan
18:52
konkurensi 16
18:52
tanpa lonjakan ekor.
18:54
Dorong ke 32
18:54
dan sistem menurun
18:55
dengan lancar.
18:56
N95 meluas
18:57
secara terprediksi
18:58
bukan secara kacau.
19:00
Di bawah
19:00
1024 x 1024
19:01
pada 50 langkah
19:02
perbedaannya diperbesar.
19:04
Jalur yang menurun
19:05
tertekuk
19:05
menjadi waktu tunggu time up.
19:07
Jalur yang diperkelas
19:07
mempertahankan
19:08
P50 yang dapat digunakan
19:09
dan P95
19:10
yang dapat diterima
19:11
dengan P12
19:12
hingga batas veran tercap.
19:13
Disinilah arena
19:13
dan stream menjadi penting
19:14
setelah penyetelan
19:15
pemblokiran head of line
19:16
berada.
19:17
Sudut pandang biaya
19:18
adalah aritematika
19:19
sederhana
19:19
permintaan per jam GPU
19:20
naik 2 hingga 5 kali lipat
19:22
ketika FP16 use attention
19:23
dan pengikatan IO
19:24
diverifikasi.
19:25
Biaya efektif
19:26
per seribu gambar
19:27
turun dengan sesuai.
19:29
Penalti cold start
19:29
menyusut karena citra
19:30
berukuran kecil
19:31
dan mesin sudah dibangun
19:32
sebelumnya.
19:33
Note berhenti
19:33
membayar pajak kompilasi
19:34
pada sentuhan pertama.
19:35
Puku besar secu dengan lock.
19:37
Verifikasi mencegah
19:37
berhasilan yang kebetulan.
19:39
Ulangi pada kumpulan
19:39
Note kedua
19:40
dengan versi driver minor
19:41
yang berbeda.
19:42
Citra yang diperkeras
19:43
menolak untuk memulai
19:44
pada Note yang tidak
19:44
cocok secara desain.
19:46
Jadi hasilnya sebanding
19:47
tidak membingungkan.
19:49
Periksa silang
19:49
snapshot kapabilitas.
19:51
Urutan penyedia yang sama,
19:52
tensor RT yang sama,
19:53
penyataan kernel yang sama.
19:55
Jalankan kembali set prom
19:56
dan tangkap ulang distribusinya.
19:58
Ketika histogram
19:58
tumpang tindih,
19:59
kepercayaan meningkat.
20:00
Jika tidak,
20:01
perbedaan kapabilitas
20:01
menjelaskan alasannya.
20:03
Pada akhirnya
20:03
angka tidak berargumen,
20:04
mereka menghukum.
20:05
Latensi terkompresi,
20:07
truput berskala
20:07
pemanfaatan stabil.
20:09
Patologinya bukan hipotetis.
20:10
Ini terukur
20:11
dan setelahnya
20:12
setem meninggalkan
20:12
sidik jari di setiap grafik.
20:15
Protokol perbaikan,
20:16
daftar periksa
20:17
pengerasan yang dapat diulang.
20:18
Kontrol penerimaan
20:19
adalah yang utama.
20:20
Tolak untuk memulai
20:21
jika penyedia
20:21
ekskusi tensor RT
20:22
atau CUDA tidak ada.
20:24
Hitung penyedia,
20:25
verifikasi jumlah perangkat,
20:26
cetak snapshot kapabilitas,
20:27
CUDNN,
20:28
FP16,
20:29
ruang kerja INT8.
20:31
Jika ada yang hilang,
20:32
keluar dengan kode 00.
20:33
Ketersediaan mengikuti integritas.
20:35
Penyematan versi adalah
20:36
tulang punggung.
20:37
Pertahankan cabang driver
20:38
matriks tunggal,
20:39
CUDA minor ke CUDNN,
20:40
has built runtime ONX,
20:41
tensor RT.
20:42
Bangun citra inferensi
20:43
berdasarkan matriks tersebut.
20:44
Tablinode agar cocok.
20:46
Batasi penerimaan
20:47
berdasarkan kestari.
20:49
Mesin tensor RT
20:49
yang telah dibangun sebelumnya
20:50
permodel dan resolusi.
20:51
Rencana adalah artefak,
20:53
bukan tebakan runtime.
20:54
Kebersihan kontainer
20:55
menjaga kebenaran.
20:56
Gunakan build multi tahap.
20:58
Jaga runtime
20:58
agar strol setelah.
21:00
Sertakan docker ignore yang ketat.
21:01
Verifikasi dengan
21:02
rewrite docker
21:03
dan audit perampingan.
21:04
Tetapkan anggaran
21:05
ukuran kumpulan di CAE.
21:06
Gagalkan citra yang membengkak.
21:07
Tanda tangani citra
21:08
dan bedakan konten perdigest.
21:10
Konfigurasikan GPU terlebih dahulu.
21:12
Kunci urutan EP ke tensor RT
21:13
Cuda nonaktifkan penyedia CPU
21:14
dalam produksi.
21:16
Pastikan keberadaan
21:17
NVIDIA dev
21:17
dan versi toolkit
21:18
container NVIDIA.
21:20
Minta GPU NVIDIA.com
21:21
secara eksplisit
21:22
atau campur lisensi
21:23
dan verifikasi saat serp.
21:24
Optimalkan tangan.
21:25
Aktifkan FP16 secara default.
21:27
Batasi Intel 8
21:28
dengan pemeriksaan ukuras.
21:31
Band I.O langsung
21:31
ke memori perangkat.
21:32
Aktifkan pin
21:33
memori
21:33
pilih stream
21:34
untuk menghindari
21:35
pemblokiran head offline.
21:36
Soekan kembali
21:38
atau nonaktifkan
21:39
arena ORT Cuda
21:40
saat berhenti
21:40
di luar working set.
21:41
Tetapkan SLO performa
21:43
sebagai kode
21:43
serta startup
21:44
dengan jendela latensi
21:45
prompt deterministik
21:45
dan batas bawah utilisasi.
21:47
Gagasa backlog menurun.
21:49
Tambahkan observabilitas,
21:50
metrik GPU,
21:51
perpermintaan,
21:52
peringatan jalur yang menurun,
21:53
kenali prompt,
21:53
dan baseline
21:54
yang dapat dibandingkan.
21:56
Terapkan browser green
21:57
dengan gerbang performa
21:58
dan robek otomatis
21:58
saat terjadi pelanggaran.
22:00
Dengan protokol yang ditegakkan,
22:02
akselerasi dapat dibuktikan,
22:03
bukan diasumsikan.
22:05
Pelajaran ini sangat klinis.
22:06
Fallback CPU
22:07
senyap penyimpangan versi
22:08
dan kontainer
22:08
yang mengkakukanlah bug.
22:10
Itu adalah pol kegagalan
22:11
yang dapat diprediksi
22:11
dan bisa anda cepat.
22:12
Jalankan protokol,
22:13
instrumentasikan utilisasi GPU,
22:15
tolak jalur yang menurun,
22:16
kunci versi,
22:16
perlakukan engine
22:17
sebagai artefak.
22:18
Jika anda ingin
22:19
pembahasan lebih dalam
22:19
tentang runtime ONX
22:20
dan perilaku memori tensor RT
22:22
serta kapan harus
22:23
menelaktifkan arena,
22:24
tonton kasus berikutnya
22:24
dalam seri ini
22:25
dan penelengganan
22:26
untuk catatan live.