Google выпустила восьмое поколение TPU: детали архитектуры сетевого оборудования уровня 8t

robot
Генерация тезисов в процессе
AIMPACT сообщение, 16 мая (UTC+8), Google раскрыла архитектурные детали восьмого поколения TPU (TPU 8t), подключенного к сети Virgo на уровне рака. Эта сеть использует высоко-кастовые коммутаторы и плоскую двухуровневую безблоковую топологию, увеличивая пропускную способность сети дата-центра в 4 раза по сравнению с предыдущим поколением, один блок может подключать более 134 000 чипов TPU 8t, обеспечивая 47 Pb/s безблоковой двунаправленной пропускной способности и почти линейную масштабируемость производительности более 1,7K ExaFlops. Сам TPU 8t использует топологию 3D кольцевого типа, один суперкабель может масштабироваться до 9600 чипов, а с помощью JAX и Pathways — более чем до миллиона чипов. Ключевые технологии включают ускоритель SparseCore, перекрытие и балансировку VPU/MXU, нативную поддержку FP4, а также интегрированный CPU на базе Arm — Axion, устраняющий узкое место в хосте. Этот дизайн ориентирован на эволюцию AI-моделей от плотных больших языковых моделей к крупномасштабным гибридным экспертным моделям и архитектурам, ориентированным на вывод. (Источник: InFoQ)
GOOGLX1,51%
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • 5
  • Репост
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
L2LunchBoy
· 16ч назад
FP4 точность обучения может быть стабильной или только для вывода?
Посмотреть ОригиналОтветить0
NeonIceMelt
· 17ч назад
13.4万芯片单结构,故障域怎么切分是个学问
Посмотреть ОригиналОтветить0
LatencyLullaby
· 18ч назад
SparseCore и FP4 нативная поддержка, Google действительно сильно снижает затраты на выводы.
Посмотреть ОригиналОтветить0
GateUser-ebdc7d3a
· 18ч назад
Один супер-корпус с чипом 9600 — как реализовано охлаждение при такой плотности, мне очень интересно
Посмотреть ОригиналОтветить0
ByteBard
· 18ч назад
Arm Axion CPU интегрирован, гетерогательные вычисления становятся всё более продвинутыми
Посмотреть ОригиналОтветить0
  • Закреплено