Google publie la huitième génération de TPU, détails de l'architecture réseau de niveau rack 8t

robot
Création du résumé en cours
AIMPACT message, le 16 mai (UTC+8), Google a dévoilé les détails architecturaux de la connexion au niveau du rack de la huitième génération de TPU (TPU 8t) à un réseau Virgo.
Ce réseau utilise des commutateurs à haute cardinalité et une topologie plate à deux couches sans blocage, augmentant la bande passante du réseau de centre de données à 4 fois celle de la génération précédente, avec une seule structure pouvant connecter plus de 134 000 puces TPU 8t, offrant une bande passante bidirectionnelle non bloquante de 47 Pb/s et une performance d’expansion quasi linéaire de plus de 1,7K ExaFlops.
Le TPU 8t lui-même utilise une topologie en anneau 3D, un seul super module pouvant s’étendre jusqu’à 9600 puces, et supporte une extension à plus d’un million de puces via JAX et Pathways.
Les technologies clés incluent l’accélérateur SparseCore, le chevauchement et l’équilibrage de l’échelle VPU/MXU, la prise en charge native de FP4, ainsi que l’intégration du CPU Axion basé sur Arm pour éliminer le goulot d’étranglement de l’hôte.
Cette conception vise à accompagner l’évolution des modèles d’IA, passant des grands modèles de langage intensifs aux modèles experts hybrides à grande échelle et aux architectures intensives en inférence.
(Source : InFoQ)
GOOGLX0,43%
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
  • Récompense
  • 5
  • Reposter
  • Partager
Commentaire
Ajouter un commentaire
Ajouter un commentaire
L2LunchBoy
· Il y a 5h
L'entraînement en précision FP4 peut-il être stable, ou est-ce uniquement destiné à l'inférence ?
Voir l'originalRépondre0
NeonIceMelt
· Il y a 5h
13.4 millions de structures de puces, la façon de diviser le domaine de défaillance est une question de savoir-faire
Voir l'originalRépondre0
LatencyLullaby
· Il y a 6h
SparseCore et FP4 prennent en charge nativement, Google pousse vraiment le coût de l'inférence à l'extrême
Voir l'originalRépondre0
GateUser-ebdc7d3a
· Il y a 6h
Un seul module super puissant avec une puce 9600, je suis très curieux de savoir comment ils gèrent le refroidissement à cette densité.
Voir l'originalRépondre0
ByteBard
· Il y a 6h
Arm Axion CPU intégré, le calcul hétérogène devient de plus en plus performant
Voir l'originalRépondre0