【AI+NVDA】Nvidia Dilaporkan Akan Meluncurkan Chip Inferensi AI di Konferensi GTC　Apa Perbedaannya dengan Chip Blackwell dan Rubin？

Nvidia (AS: NVDA, Nvidia) akan mengadakan konferensi GTC tahunan, menurut laporan media asing yang mengutip sumber, CEO Nvidia Jensen Huang diperkirakan akan mengumumkan sebuah chip yang fokus pada “inferensi” pada acara tersebut, yang digunakan untuk menjalankan model, bukan untuk melatih model.

Laporan menyebutkan bahwa ini akan menjadi produk baru pertama yang diluncurkan setelah Nvidia menandatangani perjanjian lisensi teknologi non-eksklusif senilai 20 miliar dolar AS dengan startup chip AI Groq pada Desember tahun lalu, setelah pendiri dan tim inti Groq bergabung dengan Nvidia.

Groq dikenal karena mengembangkan Unit Pemrosesan Bahasa (Language Processing Unit, LPU), yang mampu merespons query AI yang kompleks dengan kecepatan tinggi. Tiga bulan setelah kesepakatan tersebut, Nvidia diperkirakan akan meluncurkan LPU berbasis arsitektur Groq yang akan bekerja sama dengan GPU flagship Vera Rubin yang akan datang, untuk bersaing dengan pesaing dan mendukung rangkaian produk baru yang berkaitan dengan aplikasi AI.

Laporan menyebutkan bahwa selama tiga tahun terakhir, nilai pasar Nvidia yang besar sebagian besar didukung oleh GPU-nya yang menjadi tulang punggung industri AI generatif, digunakan untuk melatih model seperti ChatGPT dari OpenAI. Huang berpendapat bahwa satu sistem dapat digunakan untuk melatih model AI baru sekaligus menjalankan chatbot dan alat pengkodean berbasis model tersebut. Perusahaan teknologi besar telah menginvestasikan ratusan miliar dolar dalam pengembangan sistem ini, sekaligus juga mengembangkan chip AI khusus mereka sendiri. Selain itu, dengan semakin kompleksnya alat AI, seperti agen cerdas, Huang mungkin harus meninggalkan gagasan bahwa “satu GPU dapat menangani semua beban kerja.”

Chip inferensi baru berbasis SRAM, bukan memori HBM

Di sisi lain, karena harga memori HBM yang mahal dan pasokan yang semakin terbatas, produsen memori seperti SK Hynix dan Micron mungkin kesulitan memenuhi kebutuhan AI. Sistem flagship Nvidia, Blackwell dan Rubin, bergantung pada memori bandwidth tinggi untuk memproses beban data besar yang digunakan oleh model AI.

Sumber mengungkapkan bahwa chip serupa Groq dari Nvidia ini akan menggunakan Static Random Access Memory (SRAM) alih-alih Dynamic Random Access Memory (DRAM) yang digunakan oleh HBM. SRAM lebih mudah diperoleh dan lebih cocok untuk mempercepat tugas inferensi AI.

Nvidia tidak berkomentar mengenai laporan tersebut.