Google оголосила про восьме покоління TPU 8t: деталі архітектури мережі рівня стійки

robot
Генерація анотацій у процесі
AIMPACT повідомлення, 16 травня (UTC+8), Google розкрив архітектурні деталі восьмого покоління TPU (TPU 8t), підключеного до мережі Virgo на рівні рами.
Ця мережа використовує високонасичені комутатори та плоску двошарову безблокову топологію, що підвищує пропускну здатність мережі дата-центру у 4 рази порівняно з попередніми поколіннями, одна структура може підключати понад 134 000 чипів TPU 8t, забезпечуючи 47 Pb/s безблокової двонапрямної пропускної здатності та майже лінійне масштабування продуктивності понад 1,7 тисячі ExaFlops.
Сам TPU 8t використовує топологію 3D кільця, один суперкаскад може масштабуватися до 9600 чипів, а також підтримує масштабування понад мільйон чипів через JAX і Pathways.
Ключові технології включають прискорювач SparseCore, перекриття та балансування VPU/MXU, нативну підтримку FP4, а також інтеграцію CPU на базі Arm Axion для усунення вузьких місць у хості.
Цей дизайн орієнтований на еволюцію моделей штучного інтелекту від щільних великих мовних моделей до масштабних гібридних експертних моделей та архітектур, орієнтованих на інференцію.
(Джерело: InFoQ)
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • 11
  • 3
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
GateUser-8df0eb2b
· 1год тому
Однокомпонентний чіпсет суперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсуперсупер
Переглянути оригіналвідповісти на0
PerpNightwatch
· 2год тому
Підтримка нативного FP4 зменшує навантаження на відеопам'ять і пропускну здатність, а також знижує витрати на обчислення.
Переглянути оригіналвідповісти на0
GateUser-14cb5f72
· 2год тому
1.7K ExaFlops майже лінійне масштабування, ця цифра виглядає як наукова фантастика
Переглянути оригіналвідповісти на0
TheNemesisOfFomo
· 2год тому
Екосистема Pathways+JAX стає все більш глибокою, а Google закладає свої оборонні стіни.
Переглянути оригіналвідповісти на0
OpcodePoet
· 2год тому
Обмінник з високим базовим числом у плоскому топологічному з'єднанні, чи може дата-центр скопіювати цю ідею?
Переглянути оригіналвідповісти на0
ChillBlock
· 2год тому
З переходу від щільних LLM до архітектури MoE+ для розуміння, напрямок галузі змінюється
Переглянути оригіналвідповісти на0
Don'tCallMeABagHolder.
· 2год тому
Чому назва TPU 8t? Наступного покоління, ймовірно, буде називатися 9t, 10t, прямо відповідно до циклу оновлень NVIDIA.
Переглянути оригіналвідповісти на0
StardustUnderTheGlassDome
· 2год тому
Підвищення пропускної здатності чіпів для з'єднання у 4 рази, знято вузьке місце у зв'язку, ефективність паралельної обробки великих моделей може покращитися
Переглянути оригіналвідповісти на0
RedGlass
· 2год тому
Як забезпечити рівень відмовостійкості для мільйонного кластеру чипів, цікаво їхні механізми відмовостійкості
Переглянути оригіналвідповісти на0
ShortPositionsAtTheElevator
· 2год тому
SparseCore і VPU/MXU перекриваючий дизайн досить цікавий, здається, він прокладає шлях для архітектури MoE
Переглянути оригіналвідповісти на0
Дізнатися більше
  • Закріплено