Nvidia mengungkapkan rincian biaya Blackwell: GPU dua kali lebih mahal, setiap token menjadi 35 kali lebih murah

Menurut pemantauan Beating, NVIDIA merilis blog yang membongkar pemilihan hardware inference, inti argumen dalam satu kalimat: Penilaian infrastruktur inference harus melihat “biaya per token” bukan “biaya per GPU per jam”. Dengan membandingkan harga GPU, Blackwell lebih mahal; dengan biaya per token, Blackwell mengalahkan generasi sebelumnya secara signifikan.

Blog tersebut menggunakan DeepSeek-R1 (model inference MoE) sebagai objek pengujian, membandingkan Blackwell (GB300 NVL72) dengan generasi sebelumnya Hopper (HGX H200). Berdasarkan harga sewa pasar cloud, Blackwell per GPU per jam seharga 2,65 dolar AS, hampir dua kali lipat Hopper yang seharga 1,41 dolar AS, tetapi output token per detik per GPU meningkat dari 90 menjadi 6000, peningkatan throughput sebesar 65 kali, sehingga biaya per juta token turun dari 4,20 dolar AS menjadi 0,12 dolar AS. Produksi token per megawatt meningkat 50 kali.

Hal yang perlu diperhatikan: angka 0,12 dolar AS ini didasarkan pada optimasi perangkat lunak seperti inferensi FP4 presisi rendah dan MTP (prediksi multi token, memungkinkan model menghasilkan beberapa token sekaligus untuk mempercepat) yang diaktifkan sepenuhnya. Data asli SemiAnalysis InferenceX v2 menunjukkan bahwa, dengan GB300 NVL72 yang sama menjalankan DeepSeek-R1, tanpa MTP biaya per juta token sekitar 2,35 dolar AS, dan setelah diaktifkan turun menjadi sekitar 0,11 dolar AS, hanya dari satu optimasi ini saja sudah terpaut 21 kali lipat. Semua hasil di atas adalah pengujian model DeepSeek-R1 tunggal, angka pada arsitektur dan skala model yang berbeda akan berbeda pula.