Saya telah memperhatikan sesuatu yang menarik dalam strategi NVIDIA saat ini. Minggu lalu, Jensen Huang menjelaskan secara rinci mengapa NVIDIA menginvestasikan 20 miliar dolar untuk mengakuisisi Groq, dan jujur saja, ini adalah keputusan strategis yang cemerlang yang menunjukkan bagaimana pasar inferensi sedang berubah.

Jadi begini konteksnya: selama ini, semua orang fokus pada satu metrik saja - throughput. Tapi Groq memahami sesuatu yang dilewatkan oleh yang lain. Insinyur perangkat lunak sekarang bersedia membayar lebih untuk jawaban yang lebih cepat. Ini adalah segmentasi pasar yang benar-benar baru. Seperti yang dikatakan Huang, jika kita bisa menawarkan token dengan latensi ultra-rendah, membuat pengembang lebih produktif, mereka akan membayar untuk itu. Ini adalah pasar yang baru saja muncul.

Dan di situlah Groq masuk. Akuisisi ini mengisi kekurangan besar dalam arsenal inferensi NVIDIA. Sementara NVIDIA mendominasi segmen throughput tinggi dengan solusi tradisionalnya, Groq membawa sesuatu yang benar-benar berbeda: arsitektur LPU yang terkenal karena latensi deterministiknya yang sangat rendah. Pada bulan Maret di GTC, NVIDIA memperkenalkan Groq 3 LPU, yang diproduksi dengan proses 4 nm oleh Samsung. Angka-angkanya mengesankan - 35 kali lebih banyak inferensi per megawatt pada model dengan 1 triliun parameter dibandingkan Blackwell NVL72.

Ini secara garis besar adalah perluasan kurva Pareto pasar. Alih-alih memilih antara throughput tinggi atau latensi rendah, NVIDIA sekarang menciptakan dua segmen yang berbeda. Groq tetap beroperasi sebagai entitas independen, Jonathan Ross dan timnya bergabung dengan NVIDIA. Modelnya sendiri bisa diberi harga berbeda tergantung waktu responsnya - throughput lebih rendah, tetapi harga satuan secara luas mengimbangi. Ini adalah kecerdikan bisnis murni, dan ini menunjukkan bagaimana pasar AI menjadi semakin canggih. Kedua pendekatan akan eksis bersamaan, dan pelanggan akan memilih sesuai kebutuhan mereka yang sebenarnya.