Nvidia merilis rincian biaya Blackwell: GPU dua kali lebih mahal, setiap token 35 kali lebih murah

Berita dari CoinWorld, Nvidia merilis rincian biaya untuk seri Blackwell mereka, menunjukkan bahwa biaya GPU lebih mahal dua kali lipat dibandingkan generasi sebelumnya, tetapi biaya per token justru 35 kali lebih murah. Menurut blog Nvidia, saat mengevaluasi infrastruktur inferensi, harus fokus pada “biaya per token” bukan “biaya per GPU per jam”. Menggunakan deepseek-r1 (model inferensi MOE) sebagai objek pengujian, dibandingkan Blackwell (GB300 NVL72) dengan generasi sebelumnya Hopper (HGX H200). Berdasarkan harga sewa pasar cloud, Blackwell per GPU per jam adalah 2,65 dolar AS, hampir dua kali lipat dari Hopper yang 1,41 dolar AS, tetapi output token per GPU per detik meningkat dari 90 menjadi 6000, peningkatan 65 kali, sehingga biaya per juta token setelah dibagi turun dari 4,20 dolar AS menjadi 0,12 dolar AS. Perlu dicatat bahwa biaya 0,12 dolar AS ini didasarkan pada asumsi pengaktifan berbagai optimisasi perangkat lunak seperti inferensi presisi rendah FP4 dan prediksi multi-token.