Google merilis arsitektur jaringan rack-level generasi kedelapan TPU 8t detail

robot
Pembuatan abstrak sedang berlangsung
Pesan AIMPACT, 16 Mei (UTC+8), Google mengungkapkan detail arsitektur koneksi rak ke jaringan Virgo dari TPU generasi kedelapan (TPU 8t).
Jaringan ini menggunakan switch dengan basis tinggi dan topologi dua lapis datar tanpa hambatan, meningkatkan bandwidth jaringan pusat data hingga 4 kali lipat dari generasi sebelumnya, satu struktur dapat menghubungkan lebih dari 134.000 chip TPU 8t, menyediakan bandwidth dua arah non-hambatan sebesar 47 Pb/s dan performa hampir linear dengan lebih dari 1,7K ExaFlops.
TPU 8t sendiri menggunakan topologi cincin 3D, satu pod super dapat diperluas hingga 9600 chip, dan mendukung ekspansi melalui JAX dan Pathways hingga lebih dari satu juta chip.
Teknologi kunci termasuk akselerator SparseCore, tumpang tindih dan skala seimbang VPU/MXU, dukungan native FP4, serta integrasi CPU berbasis Arm Axion yang menghilangkan bottleneck host.
Desain ini ditujukan untuk evolusi model AI dari model bahasa besar yang padat ke model ahli campuran skala besar dan arsitektur yang intensif inferensi. (Sumber: InFoQ)
GOOGLX1,46%
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
  • Hadiah
  • 10
  • 2
  • Bagikan
Komentar
Tambahkan komentar
Tambahkan komentar
Semi-MeltedIceCream
· 5jam yang lalu
Biaya switch dengan basis tinggi tidak murah, kan? Jadi berapa lama penyedia cloud harus menghitung untuk kembali modalnya?
Lihat AsliBalas0
HypeVaccinated
· 8jam yang lalu
Pusat superkomputer baru saja selesai dibangun, langsung dikalahkan oleh Google Cloud, kecepatan iterasi siapa yang bisa mengikuti
Lihat AsliBalas0
LeverageWhisperer
· 10jam yang lalu
SparseCore dan dukungan asli FP4 memiliki beberapa keunggulan, tetapi biaya inferensinya juga harus dikurangi.
Lihat AsliBalas0
GateUser-6da8ed4c
· 10jam yang lalu
Arm Axion CPU terintegrasi, jadi tidak perlu lagi menghubungkan ke host eksternal, desainnya cukup cerdas
Lihat AsliBalas0
Stop-LossLineForTheEveningGlow
· 10jam yang lalu
JAX/Pathways langsung diperluas hingga jutaan tingkat, Google memaksa kerangka lain untuk tidak mampu mengikuti
Lihat AsliBalas0
GateUser-7919e6b9
· 10jam yang lalu
Struktur chip sebanyak 134.000 unit, bagaimana membagi domain kegagalannya? Penasaran bagaimana tim operasional mengatasinya.
Lihat AsliBalas0
PaperSculptureOctopus
· 10jam yang lalu
Tunggu, 8t itu generasi kedelapan? Saya TPU v5 belum pernah coba yang terbaru
Lihat AsliBalas0
GateUser-9d67589f
· 10jam yang lalu
Topologi torus 3D + dua lapis tanpa hambatan, bagian jaringan memang benar-benar bekerja keras
Lihat AsliBalas0
SpiralSeaSalt
· 10jam yang lalu
Cluster 1 juta chip... Apakah ini akan melatih Skynet?
Lihat AsliBalas0
Post-RainCandlestick
· 10jam yang lalu
Google kali ini benar-benar memamerkan TPU-nya, 47 Pb/s, apa artinya, broadband di rumah saya harus menangis pingsan di toilet
Lihat AsliBalas0
Lihat Lebih Banyak