Google publie la huitième génération de TPU 8t détails de l'architecture réseau de niveau rack

robot
Création du résumé en cours
AIMPACT message, le 16 mai (UTC+8), Google a dévoilé les détails architecturaux de la connexion à l’échelle du rack du TPU de huitième génération (TPU 8t) au réseau Virgo.
Ce réseau utilise des commutateurs à haute cardinalité et une topologie plate à deux couches sans obstruction, augmentant la bande passante du réseau du centre de données à 4 fois celle de la génération précédente, avec une seule structure pouvant connecter plus de 134 000 puces TPU 8t, offrant une bande passante bidirectionnelle non bloquante de 47 Pb/s et une performance d’expansion quasi linéaire de plus de 1,7K ExaFlops.
Le TPU 8t lui-même utilise une topologie en anneau 3D, un seul module super peut s’étendre jusqu’à 9600 puces, et il supporte une extension à plus d’un million de puces via JAX et Pathways.
Les technologies clés incluent l’accélérateur SparseCore, le chevauchement et l’équilibrage de la mise à l’échelle VPU/MXU, la prise en charge native de FP4, ainsi que l’intégration du CPU Axion basé sur Arm pour éliminer le goulot d’étranglement de l’hôte.
Cette conception vise à accompagner l’évolution des modèles d’IA, passant des grands modèles de langage intensifs à des modèles experts hybrides à grande échelle et à des architectures intensives en inférence.
(Source : InFoQ)
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
  • Récompense
  • 10
  • 2
  • Partager
Commentaire
Ajouter un commentaire
Ajouter un commentaire
GateUser-1bc81bb2
· Il y a 3h
Passant de TPU v4 à 8t, cette vitesse d'itération empêche Nvidia de dormir.
Voir l'originalRépondre0
GateUser-bf5d0c14
· Il y a 5h
Raccordement en rack avec Virgo, deux couches plates sans blocage, ces détails du projet sont vraiment hardcore
Voir l'originalRépondre0
BlackVelvetKey
· Il y a 6h
SparseCore et FP4 prennent en charge nativement, combien peut-on réduire le coût de formation ?
Voir l'originalRépondre0
AuroraSnowyWildernessSolitary
· Il y a 7h
47Pb/s de bande passante non bloquante est vraiment incroyable, la conception de cette topologie réseau de Google doit viser l'AGI, non ?
Voir l'originalRépondre0
GateUser-f78f1f3e
· Il y a 9h
Expansion de millions de puces, l'écosystème JAX/Pathways est trop profondément lié dans cette vague
Voir l'originalRépondre0
CatUnderTheNeonBridge
· Il y a 9h
13.4万 puces dans une seule structure, cette échelle AWS a gardé le silence, Azure a pleuré en la voyant
Voir l'originalRépondre0
AirdropJanitor
· Il y a 9h
Arm Axion CPU intégré, le TPU doit aussi suivre la voie du SoC
Voir l'originalRépondre0
AprDaydream
· Il y a 9h
Optimisation spécifique à l'architecture MoE, il semble que la prochaine génération de Gemini va faire de grandes choses
Voir l'originalRépondre0
AirdropArchivist
· Il y a 9h
Équilibrage de superposition VPU/MXU, Google a enfin compris comment gérer la planification des unités de calcul
Voir l'originalRépondre0
QuantitativeButNotPretentious
· Il y a 9h
Un seul module super puissant avec une puce 9600, comment la dissipation thermique est-elle gérée ? Curieux.
Voir l'originalRépondre0
Afficher plus