Google merilis arsitektur jaringan rack-level generasi kedelapan TPU 8t rincian

robot
Pembuatan abstrak sedang berlangsung
Pesan AIMPACT, 16 Mei (UTC+8), Google mengungkapkan detail arsitektur koneksi rak tingkat dari TPU generasi kedelapan (TPU 8t) ke jaringan Virgo. Jaringan ini menggunakan switch dengan basis tinggi dan topologi dua lapis datar tanpa hambatan, meningkatkan bandwidth jaringan pusat data hingga 4 kali lipat dari generasi sebelumnya, satu struktur dapat menghubungkan lebih dari 134.000 chip TPU 8t, menyediakan bandwidth dua arah non-hambatan sebesar 47 Pb/s dan performa hampir linear dengan lebih dari 1,7K ExaFlops. TPU 8t sendiri menggunakan topologi cincin 3D, satu super pod dapat diperluas hingga 9600 chip, dan mendukung ekspansi melalui JAX dan Pathways hingga lebih dari satu juta chip. Teknologi kunci meliputi akselerator SparseCore, tumpang tindih dan penskalaan seimbang VPU/MXU, dukungan native FP4, serta integrasi CPU berbasis Arm Axion untuk menghilangkan bottleneck host. Desain ini ditujukan untuk evolusi model AI dari model bahasa besar yang padat ke model ahli campuran skala besar dan arsitektur yang intensif inferensi. (Sumber: InFoQ)
GOOGLX0,39%
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
  • Hadiah
  • 5
  • Posting ulang
  • Bagikan
Komentar
Tambahkan komentar
Tambahkan komentar
L2LunchBoy
· 6jam yang lalu
Apakah pelatihan presisi FP4 dapat stabil, atau hanya untuk inferensi saja?
Lihat AsliBalas0
NeonIceMelt
· 6jam yang lalu
13.4 juta struktur chip tunggal, bagaimana membagi domain kegagalan adalah sebuah ilmu
Lihat AsliBalas0
LatencyLullaby
· 7jam yang lalu
SparseCore dan FP4 didukung secara native, Google benar-benar menekan biaya inferensi sampai ke titik maksimal
Lihat AsliBalas0
GateUser-ebdc7d3a
· 7jam yang lalu
Satu kapsul super besar 9600 chip, saya sangat penasaran bagaimana cara pendinginan dengan kepadatan ini
Lihat AsliBalas0
ByteBard
· 7jam yang lalu
Arm Axion CPU diintegrasikan, komputasi heterogen semakin mahir bermainnya
Lihat AsliBalas0