Mengapa permintaan SRAM tiba-tiba meledak? Lihat saja gelombang operasi ini.

Beberapa waktu lalu, tak lama setelah produsen chip AI terkemuka secara terbuka memegang posisi di raksasa teknologi, ia berbalik dan mengumumkan akuisisi perusahaan inovasi chip. Keberuntungan ini masih merupakan kekuatan, dan Anda akan tahu jawabannya setelah melihat lebih dekat.

Apa kekuatan inti perusahaan ini? Tidak seperti GPU tradisional yang mengandalkan memori bandwidth tinggi (HBM) eksternal, prosesor LPU mereka mengadopsi ide desain memori akses acak statis berkapasitas tinggi (SRAM) terintegrasi pada chip. SRAM on-chip 230MB ini dapat menyediakan bandwidth memori hingga 80TB/s - apa konsep dari angka ini? Kecepatan pemrosesan data secara langsung menghancurkan solusi GPU tradisional.

Bagaimana kinerjanya sebenarnya? Layanan cloud mereka dikenal dengan kecepatan inferensinya yang luar biasa. Saat menjalankan model besar open source seperti Mixtral dan Llama 2, ia dapat menghasilkan sekitar 500 token per detik, yang bukan urutan besarnya dibandingkan dengan kecepatan respons layanan tradisional. Harganya juga kompetitif, dan biaya per juta token cukup hemat biaya.

Mengapa ini begitu penting sekarang? Karena pergeseran kunci sedang terjadi di seluruh bidang AI - kebutuhan inferensi akan benar-benar melebihi kebutuhan pelatihan. Di era ini, menyediakan infrastruktur inferensi yang efisien, berbiaya rendah, dan benar-benar terukur melalui arsitektur inovatif LPU adalah apa yang benar-benar kurang dari pasar. Kepala perusahaan chip menjelaskan bahwa dia berencana untuk mengintegrasikan prosesor latensi rendah ini ke dalam arsitektur pabrik AI-nya sendiri, dengan tujuan melayani inferensi AI dan beban kerja real-time yang lebih luas.