Nvidia Meluncurkan Chip Groq LPX Pertama: Efisiensi Inferensi Per Megawatt Meningkat Hingga 35x Ketika Dikombinasikan dengan Vera Rubin, dan Menampilkan Prototipe Kyber Generasi Berikutnya

Berita dari CoinWorld, menurut pemantauan 1M AI News, Groq 3 LPU (Unit Pemrosesan Bahasa) adalah chip pertama yang diluncurkan setelah NVIDIA mengakuisisi startup chip inferensi AI Groq sekitar 20 miliar dolar AS pada Desember tahun lalu, dan diperkirakan mulai dikirim pada kuartal ketiga tahun ini. Rak Groq 3 LPX dapat menampung 256 LPU, dilengkapi dengan 128GB SRAM on-chip dan bandwidth interkoneksi ekstensi sebesar 640TB per detik. Menurut pihak resmi, saat dipasang bersama Vera Rubin NVL72, LPX dapat meningkatkan throughput inferensi hingga 35 kali lipat per megawatt, sekaligus membuka potensi pendapatan dari skenario inferensi dengan triliunan parameter dan konteks jutaan token. Jensen Huang menggambarkan kedua prosesor tersebut sebagai “perbedaan ekstrem namun saling menyatu: satu mengejar throughput tinggi, satu lagi mengejar latensi rendah,” sementara memori on-chip LPX secara signifikan memperbesar kapasitas memori total yang tersedia untuk model. Rak LPX direncanakan akan diluncurkan bersama platform Vera Rubin pada paruh kedua tahun ini. Pada konferensi, Huang juga menampilkan prototipe arsitektur rak generasi berikutnya dengan kode nama Kyber. Kyber akan mengubah tray komputasi yang berisi 144 GPU menjadi susunan vertikal untuk meningkatkan kepadatan fisik dan mengurangi latensi, dan akan dipasang pada platform pengganti Vera Rubin, Vera Rubin Ultra, yang diperkirakan akan diluncurkan pada tahun 2027.