NVIDIA Mengungkap Rincian Biaya Blackwell: Biaya GPU Dua Kali Lipat, Biaya Token 35 Kali Lebih Murah

Menurut pemantauan oleh Dongcha Beating, blog NVIDIA membedah pemilihan perangkat keras inferensi, dengan argumen inti dirangkum dalam satu kalimat: mengevaluasi infrastruktur inferensi harus fokus pada ‘biaya per token’ daripada ‘biaya per GPU per jam.’ Dari segi harga GPU, Blackwell lebih mahal; namun, jika membandingkan biaya token, Blackwell secara signifikan mengungguli generasi sebelumnya. Blog ini menggunakan DeepSeek-R1 (model inferensi MoE) sebagai subjek pengujian, membandingkan Blackwell (GB300 NVL72) dengan generasi sebelumnya Hopper (HGX H200). Berdasarkan harga sewa pasar cloud sebagai referensi, Blackwell berbiaya $2,65 per GPU per jam, hampir dua kali lipat Hopper yang berharga $1,41, tetapi output token per detik per GPU melonjak dari 90 menjadi 6000, menghasilkan peningkatan throughput sebesar 65 kali lipat. Akibatnya, biaya per juta token turun dari $4,20 menjadi $0,12. Output token per megawatt meningkat 50 kali lipat. Penting untuk dicatat bahwa angka $0,12 ini didasarkan pada pengaktifan penuh beberapa optimisasi perangkat lunak, termasuk inferensi presisi rendah FP4 dan MTP (multi-token prediction, memungkinkan model menghasilkan beberapa token sekaligus untuk kecepatan). Data asli dari SemiAnalysis InferenceX v2 menunjukkan bahwa GB300 NVL72 yang sama menjalankan DeepSeek-R1, tanpa MTP, memiliki biaya sekitar $2,35 per juta token, yang turun menjadi sekitar $0,11 dengan MTP diaktifkan, menyoroti perbedaan 21 kali lipat karena optimisasi tunggal ini. Semua hasil di atas berasal dari pengujian model tunggal DeepSeek-R1, dan angka dapat bervariasi di bawah arsitektur dan skala model yang berbeda.