Google publie la huitième génération de TPU, détails de l'architecture réseau de niveau rack 8t

robot
Création du résumé en cours
AIMPACT message, le 16 mai (UTC+8), Google a dévoilé les détails architecturaux de la connexion à l’échelle du rack du huitième génération de TPU (TPU 8t) au réseau Virgo.
Ce réseau utilise des commutateurs à haute cardinalité et une topologie plate à deux couches sans obstruction, augmentant la bande passante du réseau du centre de données à 4 fois celle de la génération précédente, avec une seule structure pouvant connecter plus de 134 000 puces TPU 8t, offrant une bande passante bidirectionnelle non bloquante de 47 Pb/s et une performance d’expansion quasi linéaire de plus de 1,7K ExaFlops.
Le TPU 8t lui-même utilise une topologie en anneau 3D, un seul super module pouvant s’étendre jusqu’à 9600 puces, et supporte une extension à plus d’un million de puces via JAX et Pathways.
Les technologies clés incluent l’accélérateur SparseCore, le chevauchement et la mise à l’échelle équilibrée de VPU/MXU, la prise en charge native de FP4, ainsi que l’intégration du CPU Axion basé sur Arm pour éliminer le goulot d’étranglement de l’hôte.
Cette conception vise à accompagner l’évolution des modèles d’IA, passant des grands modèles de langage intensifs aux modèles experts hybrides à grande échelle et aux architectures axées sur l’inférence.
(Source : InFoQ)
GOOGLX1,36%
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
  • Récompense
  • 10
  • 2
  • Partager
Commentaire
Ajouter un commentaire
Ajouter un commentaire
Semi-MeltedIceCream
· Il y a 2h
Le coût des commutateurs à haut nombre de ports n'est pas faible, n'est-ce pas ? Combien de temps les fournisseurs de cloud doivent-ils prévoir pour rentabiliser cette dépense ?
Voir l'originalRépondre0
HypeVaccinated
· Il y a 6h
Le centre de calcul haute performance vient d'être construit et a déjà été surpassé par Google Cloud, à quelle vitesse d'itération peut-on suivre ?
Voir l'originalRépondre0
LeverageWhisperer
· Il y a 7h
SparseCore et la prise en charge native de FP4 ont des atouts, mais le coût de l'inférence doit également être réduit.
Voir l'originalRépondre0
GateUser-6da8ed4c
· Il y a 7h
L'Arm Axion CPU intégré, évitant ainsi la nécessité de connecter une unité centrale externe, la conception est plutôt intelligente.
Voir l'originalRépondre0
Stop-LossLineForTheEveningGlow
· Il y a 7h
JAX/Pathways s'étend directement à des millions, Google pousse les autres cadres à ne pas suivre
Voir l'originalRépondre0
GateUser-7919e6b9
· Il y a 7h
13.4万 puces en structure de liste, comment diviser ce domaine de défaillance ? Curieux de savoir comment la maintenance gère cela
Voir l'originalRépondre0
PaperSculptureOctopus
· Il y a 7h
Attends, 8t est la huitième génération ? Je n'ai pas encore touché au TPU v5 tout chaud.
Voir l'originalRépondre0
GateUser-9d67589f
· Il y a 7h
Topologie de tore en 3D + deux couches sans blocage, ce domaine a vraiment été travaillé intensément
Voir l'originalRépondre0
SpiralSeaSalt
· Il y a 7h
Un cluster de 1 million de puces… Est-ce pour entraîner Skynet ?
Voir l'originalRépondre0
Post-RainCandlestick
· Il y a 7h
Google cette fois a vraiment exploité le TPU, 47 Pb/s, c'est quoi cette notion, ma connexion Internet doit pleurer et s'évanouir dans les toilettes
Voir l'originalRépondre0
Afficher plus