Google оголосила про восьме покоління TPU 8t: деталі архітектури мережі рівня стійки

robot
Генерація анотацій у процесі
AIMPACT повідомлення, 16 травня (UTC+8), Google розкрив архітектурні деталі восьмого покоління TPU (TPU 8t), підключеного до мережі Virgo на рівні рами. Ця мережа використовує високонагірні комутатори та плоску двошарову безблокову топологію, що підвищує пропускну здатність мережі дата-центру у 4 рази порівняно з попередніми поколіннями, одна структура може підключати понад 134 000 чипів TPU 8t, забезпечуючи 47 Pb/s безблокової двонапрямної пропускної здатності та майже лінійне масштабування продуктивності понад 1,7K ExaFlops. Сам TPU 8t використовує топологію 3D кільця, один суперкаскад може масштабуватися до 9600 чипів, а також підтримує розширення через JAX і Pathways понад 1 мільйон чипів. Ключові технології включають прискорювач SparseCore, перекриття та балансування VPU/MXU, нативну підтримку FP4, а також інтеграцію CPU на базі Arm Axion для усунення вузьких місць у хості. Цей дизайн орієнтований на еволюцію моделей штучного інтелекту від щільних великих мовних моделей до масштабних гібридних моделей експертів і архітектур, орієнтованих на інференцію. (Джерело: InFoQ)
GOOGLX0,39%
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • 5
  • Репост
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
L2LunchBoy
· 6год тому
Чи може тренування з точністю FP4 стабільно працювати, чи воно лише для використання в інференції?
Переглянути оригіналвідповісти на0
NeonIceMelt
· 6год тому
13.4 тисячі чіпів у структурі, як розділити зону несправностей — це наука
Переглянути оригіналвідповісти на0
LatencyLullaby
· 7год тому
SparseCore і FP4 нативно підтримуються, Google цим зменшує витрати на обчислення до межі
Переглянути оригіналвідповісти на0
GateUser-ebdc7d3a
· 7год тому
Одно суперкабінка 9600 чіпів, мені дуже цікаво, як зроблено цей щільний охолоджувач.
Переглянути оригіналвідповісти на0
ByteBard
· 7год тому
Arm Axion CPU інтегровано, гетерогенне обчислення стає все більш майстерним
Переглянути оригіналвідповісти на0
  • Закріплено