Google merilis arsitektur jaringan rack-level generasi kedelapan TPU 8t rincian

robot
Pembuatan abstrak sedang berlangsung
Pesan AIMPACT, 16 Mei (UTC+8), Google mengungkapkan detail arsitektur koneksi rak tingkat dari TPU generasi kedelapan (TPU 8t) yang terhubung ke jaringan Virgo. Jaringan ini menggunakan switch dengan basis tinggi dan topologi dua lapis datar tanpa hambatan, meningkatkan bandwidth jaringan pusat data hingga 4 kali lipat dari generasi sebelumnya, dengan satu struktur dapat menghubungkan lebih dari 134.000 chip TPU 8t, menyediakan bandwidth dua arah non-hambatan sebesar 47 Pb/s dan performa hampir linear dengan lebih dari 1,7K ExaFlops. TPU 8t sendiri menggunakan topologi cincin 3D, satu super pod dapat diperluas hingga 9600 chip, dan mendukung ekspansi melalui JAX dan Pathways hingga lebih dari satu juta chip. Teknologi kunci termasuk akselerator SparseCore, tumpang tindih dan penskalaan seimbang VPU/MXU, dukungan native FP4, serta integrasi CPU berbasis Arm Axion untuk menghilangkan bottleneck host. Desain ini ditujukan untuk evolusi model AI dari model bahasa besar yang padat ke model ahli campuran skala besar dan arsitektur yang intensif inferensi. (Sumber: InFoQ)
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
  • Hadiah
  • 11
  • 3
  • Bagikan
Komentar
Tambahkan komentar
Tambahkan komentar
GateUser-8df0eb2b
· 1jam yang lalu
Satu modul super canggih dengan chip 9600, dapat diperluas hingga jutaan unit, skala sebesar ini tahun lalu bahkan tidak berani dibayangkan
Lihat AsliBalas0
PerpNightwatch
· 2jam yang lalu
Dukungan native FP4, tekanan memori dan bandwidth bisa berkurang cukup banyak, biaya inferensi pun turun.
Lihat AsliBalas0
GateUser-14cb5f72
· 2jam yang lalu
1.7K ExaFlops hampir linier skalanya, angka ini terlihat seperti fiksi ilmiah
Lihat AsliBalas0
TheNemesisOfFomo
· 2jam yang lalu
Ekosistem Pathways+JAX semakin terikat kuat, Google membangun parit perlindungannya sendiri
Lihat AsliBalas0
OpcodePoet
· 2jam yang lalu
Switch dengan basis tinggi dan topologi datar, apakah pusat data bisa menyalin pekerjaan dari ide desain ini
Lihat AsliBalas0
ChillBlock
· 2jam yang lalu
Dari arsitektur LLM yang padat ke MoE+ dan arsitektur inferensi, tren industri akan berubah
Lihat AsliBalas0
Don'tCallMeABagHolder.
· 2jam yang lalu
Penamaan TPU 8t ini, apakah generasi berikutnya akan disebut 9t, 10t, langsung mengikuti ritme iterasi Nvidia
Lihat AsliBalas0
StardustUnderTheGlassDome
· 2jam yang lalu
Peningkatan bandwidth koneksi chip sebesar 4 kali lipat, hambatan komunikasi berkurang, efisiensi paralel model besar dapat meningkat
Lihat AsliBalas0
RedGlass
· 2jam yang lalu
Bagaimana cara menangani tingkat kegagalan dari klaster jutaan chip, penasaran dengan mekanisme toleransi kesalahan mereka
Lihat AsliBalas0
ShortPositionsAtTheElevator
· 2jam yang lalu
Desain tumpang tindih SparseCore dan VPU/MXU cukup menarik, terasa seperti sedang membuka jalan untuk arsitektur MoE
Lihat AsliBalas0
Lihat Lebih Banyak