Nvidia mengumumkan akuisisi Groq senilai 20 miliar dolar AS dan membahas strategi pertama kali: token inferensi harus dinilai berdasarkan kualitas, latensi rendah dan harga satuan tinggi adalah jalur baru

Berita ME News, 16 April (UTC+8), menurut pemantauan Beating, Jensen Huang menjelaskan secara rinci untuk pertama kalinya logika strategis di balik akuisisi Nvidia terhadap Groq dalam sebuah wawancara. Pada bulan Desember tahun lalu, Nvidia mengakuisisi bisnis chip inferensi Groq seharga 20 miliar dolar AS, pendiri Groq Jonathan Ross dan tim inti bergabung dengan Nvidia, dan Groq tetap beroperasi sebagai perusahaan independen. Pada bulan Maret lalu di acara GTC, Nvidia merilis chip pertama setelah penggabungan, Groq 3 LPU, yang diproduksi dengan proses 4nm Samsung, Nvidia menyatakan bahwa throughput inferensi per megawattnya pada model dengan triliunan parameter adalah 35 kali lipat dari Blackwell NVL72. Huang mengatakan, kekuatan pendorong di balik akuisisi Groq adalah stratifikasi pasar inferensi. Sebelumnya, optimisasi inferensi hanya memiliki satu arah: meningkatkan throughput. Tetapi nilai komersial token telah meningkat secara signifikan, dan pengguna yang berbeda bersedia membayar harga berbeda untuk kecepatan respons yang berbeda. “Jika saya bisa menyediakan token yang lebih cepat responsnya kepada insinyur perangkat lunak, sehingga mereka lebih efisien daripada sekarang, saya bersedia membayar untuk itu. Tapi pasar ini baru muncul belakangan ini.” Dia menggambarkan ini sebagai perluasan garis Pareto di pasar inferensi: di luar solusi throughput tinggi yang ada, menambahkan segmen pasar berlatensi rendah dan harga tinggi. Model yang sama, dengan diferensiasi harga berdasarkan waktu respons, “meskipun throughput lebih rendah, harga satuan dapat menutupi kekurangannya.” Arsitektur LPU Groq terkenal karena latensi rendah yang deterministik, melengkapi jalur throughput tinggi dari GPU Nvidia, dan akuisisi ini menutup kekurangan Nvidia dalam lini produk inferensi. (Sumber: BlockBeats)