Ketiga chip AI Nvidia baru ini bukanlah "versi yang ditingkatkan", tetapi "versi yang menyusut", di mana HGX H20 terbatas dalam hal bandwidth dan kecepatan komputasi, dan harga H20 diperkirakan akan menurun, tetapi masih akan lebih tinggi daripada chip AI domestik 910B.
Sumber asli: Titanium Media
Penulis: Lin Zhijia
Sumber gambar: Dihasilkan oleh Unbounded AI
Pada 10 November, baru-baru ini dilaporkan bahwa raksasa chip NVIDIA (NVIDIA) akan meluncurkan tiga chip AI untuk pasar Cina berdasarkan H100 sebagai tanggapan atas kontrol ekspor chip terbaru di Amerika Serikat.
Menurut dokumen spesifikasi, Nvidia akan segera meluncurkan produk baru untuk pelanggan China bernama HGX H20, L20 PCle, dan L2 PCle, yang didasarkan pada arsitektur Nvidia Hopper dan Ada Lovelace. Dilihat dari spesifikasi dan penamaannya, ketiga produk tersebut ditujukan untuk skenario pelatihan, inferensi dan edge, dan akan diumumkan paling cepat pada 16 November, waktu pengiriman sampel produk adalah dari November hingga Desember tahun ini, dan waktu produksi massal adalah dari Desember tahun ini hingga Januari tahun depan.
**Titanium Media App belajar dari sejumlah perusahaan rantai industri NVIDIA bahwa berita di atas adalah benar. **
Titanium Media App juga secara eksklusif mengetahui bahwa tiga chip AI NVIDIA bukanlah "versi yang ditingkatkan", tetapi "versi yang menyusut". Secara teoritis, daya komputasi keseluruhan sekitar 80% lebih rendah daripada chip GPU NVIDIA H100, yaitu, H20 sama dengan 20% dari kinerja daya komputasi komprehensif H100, dan penambahan memori video HBM dan modul interkoneksi NVLink meningkatkan biaya daya komputasi. Oleh karena itu, meskipun harga HGX H20 akan turun dibandingkan dengan H100, diharapkan harga produk ini masih akan lebih tinggi daripada chip AI domestik 910B.
"Ini setara dengan pelebaran lajur jalan raya, tapi pintu masuk gerbang tol tidak diperlebar sehingga membatasi lalu lintas. Juga secara teknis, melalui kunci perangkat keras dan perangkat lunak, kinerja chip dapat dikontrol dengan tepat, dan tidak perlu mengganti jalur produksi dalam skala besar, bahkan jika perangkat keras ditingkatkan, kinerjanya masih dapat disesuaikan sesuai kebutuhan. Saat ini, H20 baru telah 'macet' kinerja dari sumbernya. Sumber industri menjelaskan chip H20 baru, "Misalnya, dulu butuh 20 hari untuk menjalankan tugas dengan H100, tetapi sekarang mungkin perlu 100 hari untuk H20 berjalan lagi." "
Meskipun rilis babak baru pembatasan chip di Amerika Serikat, Nvidia tampaknya tidak menyerah pada pasar daya komputasi AI China yang besar.
Titanium Media App mengetahui bahwa setelah pengujian, ** saat ini, dalam hal inferensi model besar, chip AI domestik 910B hanya dapat mencapai sekitar 60% -70% dari A100, dan pelatihan model cluster tidak berkelanjutan;Pada saat yang sama, 910B jauh lebih tinggi daripada produk seri Nvidia A100 / H100 dalam hal konsumsi daya komputasi dan pemanasan, dan tidak kompatibel dengan CUDA, yang sulit untuk sepenuhnya memenuhi kebutuhan pelatihan model pusat komputasi cerdas jangka panjang. **
Sejauh ini, Nvidia belum secara resmi memberikan komentar tentang hal ini. **
Dilaporkan bahwa pada 17 Oktober tahun ini, Biro Industri dan Keamanan (BIS) Departemen Perdagangan AS mengeluarkan aturan kontrol ekspor baru untuk chip, memberlakukan kontrol ekspor baru pada produk semikonduktor, termasuk chip AI berkinerja tinggi Nvidia, dan pembatasan telah berlaku pada 23 Oktober. Pengajuan Nvidia dengan SEC AS menunjukkan bahwa produk terlarang yang berlaku langsung termasuk A800, H800 dan L40S, chip AI paling kuat.
Selain itu, prosesor chip L40 dan RTX 4090 mempertahankan jendela 30 hari asli.
Pada 31 Oktober, ada berita bahwa Nvidia mungkin terpaksa membatalkan pesanan chip canggih senilai $5 miliar, dan harga saham Nvidia turun tajam karena berita tersebut. Sebelumnya, Nvidia A800 dan H800 yang dipasok secara eksklusif untuk China tidak dapat dijual secara normal di pasar China karena peraturan baru di Amerika Serikat, dan kedua chip ini disebut "versi dikebiri" dari A100 dan H100, dan Nvidia mengurangi kinerja chip untuk mematuhi peraturan sebelumnya di Amerika Serikat.
Pada 31 Oktober, Zhang Xin, juru bicara Dewan China untuk Promosi Perdagangan Internasional, mengatakan bahwa aturan kontrol ekspor semikonduktor yang baru dikeluarkan oleh Amerika Serikat ke China telah semakin memperketat pembatasan ekspor chip terkait kecerdasan buatan dan peralatan manufaktur semikonduktor ke China, dan memasukkan sejumlah entitas China dalam "daftar entitas" kontrol ekspor. Langkah-langkah Amerika Serikat ini telah secara serius melanggar prinsip-prinsip ekonomi pasar dan aturan ekonomi dan perdagangan internasional, dan memperburuk risiko robek dan fragmentasi rantai pasokan semikonduktor global. Larangan ekspor chip ke China yang diterapkan oleh Amerika Serikat sejak paruh kedua tahun 2022 sangat mengubah penawaran dan permintaan global, menyebabkan ketidakseimbangan pasokan chip pada tahun 2023, mempengaruhi pola industri chip dunia dan merugikan kepentingan perusahaan di berbagai negara, termasuk perusahaan China.
Perbandingan parameter kinerja NVIDIA HGX H20, L20, L2 dan produk lainnya
**Titanium Media App telah belajar,**Produk chip AI HGX H20, L20, dan L2 yang baru masing-masing didasarkan pada arsitektur Hopper dan Ada NVIDIA, yang cocok untuk pelatihan cloud, inferensi cloud, dan inferensi tepi.
Di antara mereka, produk inferensi AI dari dua L20 dan L2 terakhir memiliki "substitusi domestik" yang serupa dan solusi yang kompatibel dengan CUDA, sementara HGX H20 didasarkan pada produk chip pelatihan H100 dan AI melalui pengebirian firmware, terutama menggantikan A100 / H800.
Menurut dokumen, H20 baru memiliki teknologi pengemasan canggih CoWoS, dan telah menambahkan HBM3 (memori berkinerja tinggi) menjadi 96GB, tetapi biayanya juga meningkat sebesar $240; Kekuatan komputasi padat FP16 H20 mencapai 148TFLOPS (triliun operasi floating point per detik), yaitu sekitar 15% dari daya komputasi H100, sehingga algoritma tambahan dan biaya personel perlu ditambahkan. NVLink akan ditingkatkan dari 400GB/dtk menjadi 900GB/dtk, sehingga tingkat interkoneksi akan sangat ditingkatkan.
Menurut evaluasi, H100 / H800 adalah skema praktik utama cluster daya komputasi. Diantaranya, batas teoritis H100 adalah 50.000 kartu dan daya komputasi maksimum adalah 100.000 P, kluster praktik maksimum H800 adalah 20.000-30.000 kartu, dengan total daya komputasi 40.000 P, dan kluster praktik maksimum A100 adalah 16.000 kartu dan daya komputasi maksimum adalah 9600P.
Namun, batas teoritis chip H20 baru adalah 50.000 kartu, tetapi daya komputasi setiap kartu adalah 0,148P, dan total daya komputasi hampir 7400P, yang lebih rendah dari H100/H800 dan A100. Oleh karena itu, skala cluster H20 jauh dari skala teoritis H100, dan berdasarkan estimasi daya komputasi dan keseimbangan komunikasi, median daya komputasi keseluruhan yang wajar adalah sekitar 3000P, dan lebih banyak biaya dan lebih banyak daya komputasi perlu ditambahkan untuk menyelesaikan pelatihan model parameter tingkat 100 miliar.
Dua pakar industri semikonduktor mengatakan kepada Titanium Media App bahwa berdasarkan perkiraan parameter kinerja saat ini, sangat mungkin bahwa produk GPU Nvidia B100 tidak akan lagi dijual ke pasar China tahun depan. **
Secara keseluruhan, jika perusahaan model besar ingin melakukan pelatihan model besar dengan parameter seperti GPT-4, skala cluster daya komputasi adalah intinya, dan saat ini, hanya H800 dan H100 yang dapat kompeten untuk pelatihan model besar, sedangkan kinerja 910B domestik adalah antara A100 dan H100, yang hanya merupakan "pilihan cadangan pilihan terakhir".
Sekarang H20 baru yang diluncurkan oleh Nvidia lebih cocok untuk pelatihan dan inferensi model vertikal, yang tidak dapat memenuhi kebutuhan pelatihan model besar tingkat triliun, tetapi kinerja keseluruhan sedikit lebih tinggi daripada 910B, ditambah dengan ekologi CUDA NVIDIA, sehingga memblokir satu-satunya jalur pilihan untuk kartu domestik di pasar chip AI China di masa depan di bawah perintah pembatasan chip AS.
Menurut laporan keuangan terbaru, pada kuartal yang berakhir 30 Juli, lebih dari 85% penjualan Nvidia senilai $ 13,5 miliar berasal dari Amerika Serikat dan China, dan hanya sekitar 14% penjualan berasal dari negara dan wilayah lain.
Dipengaruhi oleh berita H20, pada penutupan pasar saham AS pada 9 November, harga saham Nvidia naik sedikit 0,81% menjadi ditutup pada $469,5 per saham. Dalam lima hari perdagangan terakhir, Nvidia telah meningkat lebih dari 10%, dengan nilai pasar terbaru sebesar $1,16 triliun.
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
Nvidia memblokir chip AI domestik, dan daya komputasi komprehensif dari "China Special Edition" H20 adalah 80% lebih rendah daripada H100
Sumber asli: Titanium Media
Penulis: Lin Zhijia
Pada 10 November, baru-baru ini dilaporkan bahwa raksasa chip NVIDIA (NVIDIA) akan meluncurkan tiga chip AI untuk pasar Cina berdasarkan H100 sebagai tanggapan atas kontrol ekspor chip terbaru di Amerika Serikat.
Menurut dokumen spesifikasi, Nvidia akan segera meluncurkan produk baru untuk pelanggan China bernama HGX H20, L20 PCle, dan L2 PCle, yang didasarkan pada arsitektur Nvidia Hopper dan Ada Lovelace. Dilihat dari spesifikasi dan penamaannya, ketiga produk tersebut ditujukan untuk skenario pelatihan, inferensi dan edge, dan akan diumumkan paling cepat pada 16 November, waktu pengiriman sampel produk adalah dari November hingga Desember tahun ini, dan waktu produksi massal adalah dari Desember tahun ini hingga Januari tahun depan.
**Titanium Media App belajar dari sejumlah perusahaan rantai industri NVIDIA bahwa berita di atas adalah benar. **
Titanium Media App juga secara eksklusif mengetahui bahwa tiga chip AI NVIDIA bukanlah "versi yang ditingkatkan", tetapi "versi yang menyusut". Secara teoritis, daya komputasi keseluruhan sekitar 80% lebih rendah daripada chip GPU NVIDIA H100, yaitu, H20 sama dengan 20% dari kinerja daya komputasi komprehensif H100, dan penambahan memori video HBM dan modul interkoneksi NVLink meningkatkan biaya daya komputasi. Oleh karena itu, meskipun harga HGX H20 akan turun dibandingkan dengan H100, diharapkan harga produk ini masih akan lebih tinggi daripada chip AI domestik 910B.
"Ini setara dengan pelebaran lajur jalan raya, tapi pintu masuk gerbang tol tidak diperlebar sehingga membatasi lalu lintas. Juga secara teknis, melalui kunci perangkat keras dan perangkat lunak, kinerja chip dapat dikontrol dengan tepat, dan tidak perlu mengganti jalur produksi dalam skala besar, bahkan jika perangkat keras ditingkatkan, kinerjanya masih dapat disesuaikan sesuai kebutuhan. Saat ini, H20 baru telah 'macet' kinerja dari sumbernya. Sumber industri menjelaskan chip H20 baru, "Misalnya, dulu butuh 20 hari untuk menjalankan tugas dengan H100, tetapi sekarang mungkin perlu 100 hari untuk H20 berjalan lagi." "
Meskipun rilis babak baru pembatasan chip di Amerika Serikat, Nvidia tampaknya tidak menyerah pada pasar daya komputasi AI China yang besar.
Titanium Media App mengetahui bahwa setelah pengujian, ** saat ini, dalam hal inferensi model besar, chip AI domestik 910B hanya dapat mencapai sekitar 60% -70% dari A100, dan pelatihan model cluster tidak berkelanjutan;Pada saat yang sama, 910B jauh lebih tinggi daripada produk seri Nvidia A100 / H100 dalam hal konsumsi daya komputasi dan pemanasan, dan tidak kompatibel dengan CUDA, yang sulit untuk sepenuhnya memenuhi kebutuhan pelatihan model pusat komputasi cerdas jangka panjang. **
Sejauh ini, Nvidia belum secara resmi memberikan komentar tentang hal ini. **
Dilaporkan bahwa pada 17 Oktober tahun ini, Biro Industri dan Keamanan (BIS) Departemen Perdagangan AS mengeluarkan aturan kontrol ekspor baru untuk chip, memberlakukan kontrol ekspor baru pada produk semikonduktor, termasuk chip AI berkinerja tinggi Nvidia, dan pembatasan telah berlaku pada 23 Oktober. Pengajuan Nvidia dengan SEC AS menunjukkan bahwa produk terlarang yang berlaku langsung termasuk A800, H800 dan L40S, chip AI paling kuat.
Selain itu, prosesor chip L40 dan RTX 4090 mempertahankan jendela 30 hari asli.
Pada 31 Oktober, ada berita bahwa Nvidia mungkin terpaksa membatalkan pesanan chip canggih senilai $5 miliar, dan harga saham Nvidia turun tajam karena berita tersebut. Sebelumnya, Nvidia A800 dan H800 yang dipasok secara eksklusif untuk China tidak dapat dijual secara normal di pasar China karena peraturan baru di Amerika Serikat, dan kedua chip ini disebut "versi dikebiri" dari A100 dan H100, dan Nvidia mengurangi kinerja chip untuk mematuhi peraturan sebelumnya di Amerika Serikat.
Pada 31 Oktober, Zhang Xin, juru bicara Dewan China untuk Promosi Perdagangan Internasional, mengatakan bahwa aturan kontrol ekspor semikonduktor yang baru dikeluarkan oleh Amerika Serikat ke China telah semakin memperketat pembatasan ekspor chip terkait kecerdasan buatan dan peralatan manufaktur semikonduktor ke China, dan memasukkan sejumlah entitas China dalam "daftar entitas" kontrol ekspor. Langkah-langkah Amerika Serikat ini telah secara serius melanggar prinsip-prinsip ekonomi pasar dan aturan ekonomi dan perdagangan internasional, dan memperburuk risiko robek dan fragmentasi rantai pasokan semikonduktor global. Larangan ekspor chip ke China yang diterapkan oleh Amerika Serikat sejak paruh kedua tahun 2022 sangat mengubah penawaran dan permintaan global, menyebabkan ketidakseimbangan pasokan chip pada tahun 2023, mempengaruhi pola industri chip dunia dan merugikan kepentingan perusahaan di berbagai negara, termasuk perusahaan China.
**Titanium Media App telah belajar,**Produk chip AI HGX H20, L20, dan L2 yang baru masing-masing didasarkan pada arsitektur Hopper dan Ada NVIDIA, yang cocok untuk pelatihan cloud, inferensi cloud, dan inferensi tepi.
Di antara mereka, produk inferensi AI dari dua L20 dan L2 terakhir memiliki "substitusi domestik" yang serupa dan solusi yang kompatibel dengan CUDA, sementara HGX H20 didasarkan pada produk chip pelatihan H100 dan AI melalui pengebirian firmware, terutama menggantikan A100 / H800.
Menurut dokumen, H20 baru memiliki teknologi pengemasan canggih CoWoS, dan telah menambahkan HBM3 (memori berkinerja tinggi) menjadi 96GB, tetapi biayanya juga meningkat sebesar $240; Kekuatan komputasi padat FP16 H20 mencapai 148TFLOPS (triliun operasi floating point per detik), yaitu sekitar 15% dari daya komputasi H100, sehingga algoritma tambahan dan biaya personel perlu ditambahkan. NVLink akan ditingkatkan dari 400GB/dtk menjadi 900GB/dtk, sehingga tingkat interkoneksi akan sangat ditingkatkan.
Menurut evaluasi, H100 / H800 adalah skema praktik utama cluster daya komputasi. Diantaranya, batas teoritis H100 adalah 50.000 kartu dan daya komputasi maksimum adalah 100.000 P, kluster praktik maksimum H800 adalah 20.000-30.000 kartu, dengan total daya komputasi 40.000 P, dan kluster praktik maksimum A100 adalah 16.000 kartu dan daya komputasi maksimum adalah 9600P.
Namun, batas teoritis chip H20 baru adalah 50.000 kartu, tetapi daya komputasi setiap kartu adalah 0,148P, dan total daya komputasi hampir 7400P, yang lebih rendah dari H100/H800 dan A100. Oleh karena itu, skala cluster H20 jauh dari skala teoritis H100, dan berdasarkan estimasi daya komputasi dan keseimbangan komunikasi, median daya komputasi keseluruhan yang wajar adalah sekitar 3000P, dan lebih banyak biaya dan lebih banyak daya komputasi perlu ditambahkan untuk menyelesaikan pelatihan model parameter tingkat 100 miliar.
Dua pakar industri semikonduktor mengatakan kepada Titanium Media App bahwa berdasarkan perkiraan parameter kinerja saat ini, sangat mungkin bahwa produk GPU Nvidia B100 tidak akan lagi dijual ke pasar China tahun depan. **
Secara keseluruhan, jika perusahaan model besar ingin melakukan pelatihan model besar dengan parameter seperti GPT-4, skala cluster daya komputasi adalah intinya, dan saat ini, hanya H800 dan H100 yang dapat kompeten untuk pelatihan model besar, sedangkan kinerja 910B domestik adalah antara A100 dan H100, yang hanya merupakan "pilihan cadangan pilihan terakhir".
Sekarang H20 baru yang diluncurkan oleh Nvidia lebih cocok untuk pelatihan dan inferensi model vertikal, yang tidak dapat memenuhi kebutuhan pelatihan model besar tingkat triliun, tetapi kinerja keseluruhan sedikit lebih tinggi daripada 910B, ditambah dengan ekologi CUDA NVIDIA, sehingga memblokir satu-satunya jalur pilihan untuk kartu domestik di pasar chip AI China di masa depan di bawah perintah pembatasan chip AS.
Menurut laporan keuangan terbaru, pada kuartal yang berakhir 30 Juli, lebih dari 85% penjualan Nvidia senilai $ 13,5 miliar berasal dari Amerika Serikat dan China, dan hanya sekitar 14% penjualan berasal dari negara dan wilayah lain.
Dipengaruhi oleh berita H20, pada penutupan pasar saham AS pada 9 November, harga saham Nvidia naik sedikit 0,81% menjadi ditutup pada $469,5 per saham. Dalam lima hari perdagangan terakhir, Nvidia telah meningkat lebih dari 10%, dengan nilai pasar terbaru sebesar $1,16 triliun.