Google merilis arsitektur jaringan rack-level generasi kedelapan TPU 8t rincian

robot
Pembuatan abstrak sedang berlangsung
Pesan AIMPACT, 16 Mei (UTC+8), Google mengungkapkan detail arsitektur koneksi rak tingkat dari TPU generasi kedelapan (TPU 8t) ke jaringan Virgo. Jaringan ini menggunakan switch dengan basis tinggi dan topologi dua lapis datar tanpa hambatan, meningkatkan bandwidth jaringan pusat data hingga 4 kali lipat dari generasi sebelumnya, satu struktur dapat menghubungkan lebih dari 134.000 chip TPU 8t, menyediakan bandwidth dua arah non-hambatan sebesar 47 Pb/s dan performa hampir linier dengan lebih dari 1,7K ExaFlops. TPU 8t sendiri menggunakan topologi cincin 3D, satu super pod dapat diperluas hingga 9600 chip, dan mendukung ekspansi melalui JAX dan Pathways hingga lebih dari satu juta chip. Teknologi kunci termasuk akselerator SparseCore, tumpang tindih dan penskalaan seimbang VPU/MXU, dukungan native FP4, serta integrasi CPU berbasis Arm Axion untuk menghilangkan bottleneck host. Desain ini ditujukan untuk evolusi model AI dari model bahasa besar yang padat ke model ahli campuran skala besar dan arsitektur yang intensif inferensi. (Sumber: InFoQ)
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
  • Hadiah
  • 10
  • 2
  • Bagikan
Komentar
Tambahkan komentar
Tambahkan komentar
GateUser-1bc81bb2
· 32menit yang lalu
Dari TPU v4 hingga 8t, kecepatan iterasi ini membuat Nvidia sulit tidur.
Lihat AsliBalas0
GateUser-bf5d0c14
· 2jam yang lalu
Pengkabelan rak menggunakan Virgo, dua lapis datar tanpa hambatan, detail proyek ini cukup keren
Lihat AsliBalas0
BlackVelvetKey
· 3jam yang lalu
SparseCore dan FP4 mendukung secara native, berapa banyak biaya pelatihan yang bisa dipotong?
Lihat AsliBalas0
AuroraSnowyWildernessSolitary
· 3jam yang lalu
47Pb/s bandwidth non-blocking memang gila, desain topologi jaringan Google ini pasti menuju AGI ya
Lihat AsliBalas0
GateUser-f78f1f3e
· 6jam yang lalu
Ekspansi jutaan chip, ekosistem JAX/Pathways terikat terlalu dalam dalam gelombang ini
Lihat AsliBalas0
CatUnderTheNeonBridge
· 6jam yang lalu
13.4 juta struktur chip tunggal, skala ini AWS terdiam, Azure menangis terharu
Lihat AsliBalas0
AirdropJanitor
· 6jam yang lalu
Arm Axion CPU terintegrasi, TPU juga akan mengikuti jalur SoC
Lihat AsliBalas0
AprDaydream
· 6jam yang lalu
Optimisasi khusus untuk arsitektur MoE, tampaknya Gemini generasi berikutnya akan melakukan hal besar
Lihat AsliBalas0
AirdropArchivist
· 6jam yang lalu
VPU/MXU Penyeimbangan Tumpang Tindih, Google akhirnya memahami cara menjadwalkan unit komputasi dengan baik
Lihat AsliBalas0
QuantitativeButNotPretentious
· 6jam yang lalu
Kapsul super tunggal 9600 chip, bagaimana penyelesaian pendinginannya? Penasaran
Lihat AsliBalas0
Lihat Lebih Banyak