Google akan menanamkan arsitektur Gemini ke dalam chip, efisiensi inferensi meningkat hingga 10x

robot
Pembuatan abstrak sedang berlangsung
ME AI pesan, menurut pemantauan Beating, Google disebut sedang mengembangkan chip inferensi AI Frozen v2. Chip ini akan membekukan sebagian arsitektur Gemini langsung ke dalam chip, sehingga mengurangi perhitungan dan pemindahan data saat menjalankan model. Secara internal diperkirakan, jumlah token yang dapat diproses per watt akan mencapai 6 hingga 10 kali lipat dibanding TPU terbaru. Google berencana menerapkannya paling cepat pada 2028. Google ingin menggunakannya untuk meredakan kekurangan daya komputasi. Kekurangan tersebut telah memaksa Google Cloud menolak sebagian pesanan dari pelanggan eksternal. Frozen v2 akan hidup berdampingan secara paralel dengan TPU. TPU dapat menjalankan model yang berbeda, sementara Frozen v2 menukar fleksibilitas dengan efisiensi. Ini juga merupakan taruhan pada arsitektur. Jika di masa depan Gemini mengubah desain dasar secara besar-besaran, batch chip ini mungkin tidak dapat terus digunakan. (Sumber: BlockBeats)
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
  • Hadiah
  • Komentar
  • Posting ulang
  • Bagikan
Komentar
Tambahkan komentar
Tambahkan komentar
Tidak ada komentar
  • Disematkan