Google выпустила восьмое поколение TPU: детали архитектуры сетевого оборудования уровня 8t

robot
Генерация тезисов в процессе
AIMPACT сообщение, 16 мая (UTC+8), Google раскрыла архитектурные детали восьмого поколения TPU (TPU 8t), подключенного к сети Virgo на уровне стойки. Эта сеть использует высоко-степенные коммутаторы и плоскую двухуровневую безблоковую топологию, увеличивая пропускную способность сети дата-центра в 4 раза по сравнению с предыдущим поколением, одна структура может подключать более 134 000 чипов TPU 8t, обеспечивая 47 Pb/s безблоковой двунаправленной пропускной способности и почти линейную масштабируемость производительности более 1,7K ExaFlops. Сам TPU 8t использует топологию 3D кольцевого типа, один суперкабель может масштабироваться до 9600 чипов, а также поддерживает расширение через JAX и Pathways до более чем 1 миллиона чипов. Ключевые технологии включают ускоритель SparseCore, перекрытие и балансировку VPU/MXU, нативную поддержку FP4, а также интегрированный CPU на базе Arm Axion для устранения узких мест в хосте. Этот дизайн ориентирован на эволюцию моделей ИИ от плотных больших языковых моделей к крупномасштабным гибридным экспертным моделям и архитектурам, ориентированным на вывод. (Источник: InFoQ)
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • 11
  • 3
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
GateUser-8df0eb2b
· 2ч назад
Одноплатный модуль с чипом 9600, который можно расширить до миллиона единиц, такую масштабность в прошлом году даже представить было страшно
Посмотреть ОригиналОтветить0
PerpNightwatch
· 3ч назад
Поддержка нативного FP4 значительно снижает нагрузку на видеопамять и пропускную способность, а также уменьшает затраты на вывод.
Посмотреть ОригиналОтветить0
GateUser-14cb5f72
· 3ч назад
1.7K ExaFlops почти линейное масштабирование, эта цифра выглядит как научная фантастика
Посмотреть ОригиналОтветить0
TheNemesisOfFomo
· 3ч назад
Экосистема Pathways+JAX становится все более глубокой, а Google укрепляет свою собственную защитную стену
Посмотреть ОригиналОтветить0
OpcodePoet
· 3ч назад
Высокочастотный коммутатор с плоской топологией, так ли можно списать дизайн идеи для дата-центра?
Посмотреть ОригиналОтветить0
ChillBlock
· 3ч назад
Переход от плотных LLM к архитектуре MoE+ для вывода, индустриальный тренд меняется
Посмотреть ОригиналОтветить0
Don'tCallMeABagHolder.
· 4ч назад
Это название TPU 8t, следующего поколения, вероятно, будет называться 9t, 10t, прямо соответствуя циклу обновлений Nvidia.
Посмотреть ОригиналОтветить0
StardustUnderTheGlassDome
· 4ч назад
Увеличение пропускной способности межчипового соединения в 4 раза, снятие узкого места в коммуникациях, эффективность параллельной обработки больших моделей может повыситься
Посмотреть ОригиналОтветить0
RedGlass
· 4ч назад
Как обеспечить отказоустойчивость в кластере из миллиона чипов, интересно их механизмы отказоустойчивости
Посмотреть ОригиналОтветить0
ShortPositionsAtTheElevator
· 4ч назад
SparseCore и VPU/MXU перекрывающиеся дизайны довольно интересны, кажется, они прокладывают путь для архитектуры MoE
Посмотреть ОригиналОтветить0
Подробнее
  • Закреплено