Jadi ada berita menarik tentang Groq yang beredar mengenai langkah strategis NVIDIA di ruang inferensi. Ternyata Jensen Huang baru saja menjelaskan pemikiran sebenarnya di balik mengapa mereka mengejar Groq sejak awal.

Desember lalu, NVIDIA mengeluarkan $20 miliar untuk mengakuisisi bisnis chip inferensi Groq. Pendiri Jonathan Ross dan tim inti-nya bergabung ke NVIDIA, tapi yang perlu diingat—Groq tetap beroperasi secara independen. Kemudian di GTC bulan Maret lalu, mereka memamerkan chip Groq 3 LPU yang dibangun dengan proses 4nm dari Samsung. Angka performa-nya cukup luar biasa: 35x throughput inferensi per megawatt pada model dengan triliun parameter dibandingkan dengan Blackwell NVL72 dari NVIDIA.

Tapi yang benar-benar menarik perhatian saya adalah penjelasan Huang tentang dinamika pasar yang mendorong hal ini. Dia berbicara tentang bagaimana pasar inferensi terbagi menjadi berbagai segmen. Bertahun-tahun, semua orang fokus pada satu hal: memaksimalkan throughput. Tapi itu sedang berubah. Ekonomi token telah bergeser secara dramatis. Pengguna yang berbeda sekarang menghargai kecepatan respons yang berbeda, dan mereka bersedia membayar sesuai.

Huang menjelaskannya dengan cukup jelas: jika Anda bisa memberi pengembang token yang lebih cepat merespons sehingga mereka lebih produktif, mereka akan membayar harga premium untuk kemampuan itu. Ini adalah pasar yang relatif baru yang baru saja muncul. Secara esensial, ini memperluas frontier Pareto—menambahkan segmen dengan latensi rendah dan harga per token yang lebih tinggi di samping solusi throughput tinggi yang sudah ada.

Di situlah arsitektur LPU Groq masuk. Dibangun untuk latensi rendah yang deterministik, yang hampir berlawanan dengan apa yang dioptimalkan GPU. GPU unggul dalam throughput. Jadi akuisisi Groq ini pada dasarnya mengisi celah dalam strategi produk NVIDIA. Anda bisa menjalankan model yang sama dengan dua cara berbeda: memaksimalkan throughput di GPU, atau mendapatkan latensi ultra-rendah di LPU Groq. Model penetapan harga yang berbeda untuk kasus penggunaan yang berbeda.

Berita Groq di sini benar-benar menyoroti bagaimana pasar inferensi AI berkembang melampaui sekadar komputasi mentah. Ini tentang memahami apa yang benar-benar dibutuhkan pelanggan yang berbeda dan membangun alat yang tepat untuk setiap segmen. Langkah yang cukup cerdas jika menurut saya.