Google оголосила про восьме покоління TPU 8t: деталі архітектури мережі рівня стійки

robot
Генерація анотацій у процесі
AIMPACT повідомлення, 16 травня (UTC+8), Google розкрив архітектурні деталі восьмого покоління TPU (TPU 8t), підключеного до мережі Virgo на рівні рами. Ця мережа використовує високонасичені комутатори та плоску двошарову безблокову топологію, що підвищує пропускну здатність мережі дата-центру у 4 рази порівняно з попередніми поколіннями, одна структура може підключати понад 134 000 чипів TPU 8t, забезпечуючи 47 Pb/s безблокової двонапрямної пропускної здатності та майже лінійне масштабування продуктивності понад 1,7K ExaFlops. Сам TPU 8t використовує топологію 3D кільця, один суперкаскад може масштабуватися до 9600 чипів, а також підтримує розширення через JAX і Pathways понад 1 мільйон чипів. Ключові технології включають прискорювач SparseCore, перекриття та балансування VPU/MXU, нативну підтримку FP4, а також інтеграцію CPU на базі Arm Axion для усунення вузьких місць у хості. Цей дизайн орієнтований на еволюцію моделей штучного інтелекту від щільних великих мовних моделей до масштабних гібридних моделей експертів і архітектур, орієнтованих на інференцію. (Джерело: InFoQ)
GOOGLX1,46%
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • 10
  • 2
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
Semi-MeltedIceCream
· 5год тому
Вартість висококласного комутатора не низька, чи не так? Скільки часу хмарний постачальник має враховувати для окупності цієї ціни?
Переглянути оригіналвідповісти на0
HypeVaccinated
· 8год тому
Щойно побудований центр суперкомп’ютерів був побитий Google Cloud, хто зможе наздогнати цю швидкість ітерації
Переглянути оригіналвідповісти на0
LeverageWhisperer
· 10год тому
SparseCore і FP4 мають деякі вбудовані підтримки, але витрати на обчислення знову знижуються
Переглянути оригіналвідповісти на0
GateUser-6da8ed4c
· 10год тому
Вбудований процесор Arm Axion, щоб не потрібно було підключати зовнішній хост, досить розумний дизайн
Переглянути оригіналвідповісти на0
Stop-LossLineForTheEveningGlow
· 10год тому
JAX/Pathways безпосередньо масштабується до мільйонів, Google змушує інші фреймворки йти в ногу.
Переглянути оригіналвідповісти на0
GateUser-7919e6b9
· 10год тому
13.4万 чіпів у структурі, як розділити цю зону несправностей? Цікаво, як це роблять служби підтримки?
Переглянути оригіналвідповісти на0
PaperSculptureOctopus
· 10год тому
Зачекайте, 8t — це восьме покоління? Я ще не торкався TPU v5, щоб відчути його гарячим.
Переглянути оригіналвідповісти на0
GateUser-9d67589f
· 10год тому
3D тороїдальна топологія + двошарова безперервна мережа, дійсно доклали багато зусиль у цій сфері
Переглянути оригіналвідповісти на0
SpiralSeaSalt
· 10год тому
Мільйонний кластер чіпів… Це збираєтеся навчити Тіньовий Мережу?
Переглянути оригіналвідповісти на0
Post-RainCandlestick
· 10год тому
Цього разу Google справді вразила з TPU, 47 Pb/s — що це за концепція, моя домашня швидкість інтернету змусила б мене плакати і падати в туалет від шоку
Переглянути оригіналвідповісти на0
Дізнатися більше
  • Закріплено