Google оголосила про восьме покоління TPU 8t: деталі архітектури мережі рівня стійки

robot
Генерація анотацій у процесі
AIMPACT повідомлення, 16 травня (UTC+8), Google розкрив архітектурні деталі восьмого покоління TPU (TPU 8t), підключеного до мережі Virgo на рівні рами.
Ця мережа використовує високонаступні комутатори та плоску двошарову безблокову топологію, підвищуючи пропускну здатність мережі дата-центру у 4 рази порівняно з попередніми поколіннями, одна структура може підключати понад 134 000 чипів TPU 8t, забезпечуючи 47 Pb/s безблокової двонапрямної пропускної здатності та майже лінійне масштабування продуктивності понад 1,7K ExaFlops.
Сам TPU 8t використовує топологію 3D кільця, один суперкабель може масштабуватися до 9600 чипів, а також підтримує масштабування понад мільйон чипів через JAX і Pathways.
Ключові технології включають прискорювач SparseCore, перекриття та балансування VPU/MXU, нативну підтримку FP4, а також інтеграцію CPU на базі Arm Axion для усунення вузьких місць у хості.
Цей дизайн орієнтований на еволюцію моделей штучного інтелекту від щільних великих мовних моделей до масштабних гібридних експертних моделей та архітектур, орієнтованих на інференцію.
(Джерело: InFoQ)
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • 10
  • 2
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
GateUser-1bc81bb2
· 32хв. тому
Від TPU v4 до 8t — така швидкість ітерації не дає NVIDIA заснути.
Переглянути оригіналвідповісти на0
GateUser-bf5d0c14
· 2год тому
Розподільчі стійки з'єднані за допомогою Virgo, плоский двошаровий безблоковий дизайн, ці технічні деталі досить круті
Переглянути оригіналвідповісти на0
BlackVelvetKey
· 3год тому
SparseCore та FP4 нативно підтримуються, скільки можна зекономити на витратах на тренування?
Переглянути оригіналвідповісти на0
AuroraSnowyWildernessSolitary
· 3год тому
47Pb/s неконфліктна пропускна здатність дійсно неймовірна, чиє мережеве топологічне проектування Google спрямоване на AGI, так?
Переглянути оригіналвідповісти на0
GateUser-f78f1f3e
· 6год тому
Мільйон чипів для розширення, JAX/Pathways ця хвиля екосистемної прив'язки занадто глибока
Переглянути оригіналвідповісти на0
CatUnderTheNeonBridge
· 6год тому
13.4 мільйона структур чипів, цю масштабність AWS мовчить, Azure плаче
Переглянути оригіналвідповісти на0
AirdropJanitor
· 6год тому
Arm Axion CPU інтегрований, TPU також йде шляхом SoC
Переглянути оригіналвідповісти на0
AprDaydream
· 6год тому
Оптимізація, спеціально призначена для архітектури MoE, здається, наступне покоління Gemini готує великі справи
Переглянути оригіналвідповісти на0
AirdropArchivist
· 6год тому
VPU/MXU перекресне балансування, Google нарешті розібрався з розподілом обчислювальних блоків
Переглянути оригіналвідповісти на0
QuantitativeButNotPretentious
· 6год тому
Одно суперкабінка 9600 чіп, як вирішується питання охолодження? Цікаво
Переглянути оригіналвідповісти на0
Дізнатися більше
  • Закріплено