Google publie la huitième génération de TPU, détails de l'architecture réseau de niveau rack 8t

robot
Création du résumé en cours
AIMPACT message, le 16 mai (UTC+8), Google a dévoilé les détails architecturaux de la connexion au niveau du rack de la huitième génération de TPU (TPU 8t) au réseau Virgo.
Ce réseau utilise des commutateurs à haut degré de commutation et une topologie plate à deux couches sans blocage, augmentant la bande passante du réseau du centre de données à 4 fois celle de la génération précédente, avec une seule structure pouvant connecter plus de 134 000 puces TPU 8t, offrant une bande passante bidirectionnelle non bloquante de 47 Pb/s et une performance d'environ 1,7K ExaFlops avec une extension quasi linéaire.
Le TPU 8t lui-même utilise une topologie en anneau 3D, un seul module super peut s'étendre jusqu'à 9600 puces, et il supporte une extension à plus d'un million de puces via JAX et Pathways.
Les technologies clés incluent l'accélérateur SparseCore, le chevauchement et l'équilibrage de l'échelle VPU/MXU, la prise en charge native de FP4, ainsi que l'intégration du CPU Axion basé sur Arm pour éliminer le goulot d'étranglement de l'hôte.
Cette conception vise à accompagner l'évolution des modèles d'IA, passant des grands modèles de langage intensifs aux modèles experts hybrides à grande échelle et aux architectures intensives en inférence.
(Source : InFoQ)
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
  • Récompense
  • 10
  • 2
  • Partager
Commentaire
Ajouter un commentaire
Ajouter un commentaire
LiquidityTeaMaster
· Il y a 1h
Virgo Network, ce nom est bien choisi, un trouble obsessionnel compulsif du signe de la Vierge sans blocage
Voir l'originalRépondre0
ZkSketcher
· Il y a 3h
Extension quasi-linéaire à 1,7K ExaFlops, la loi d'Amdahl est-elle devenue inefficace chez Google ?
Voir l'originalRépondre0
MevBreakRoom
· Il y a 3h
TPU 8t cette densité de bande passante est un peu folle, 47 Pb/s, quelle est la notion ?
Voir l'originalRépondre0
NonceNinja
· Il y a 3h
Passer de JAX à un million de puces, les Voies (Pathways) vont-elles enfin avoir leur utilité ?
Voir l'originalRépondre0
MarginMoth
· Il y a 3h
Un commutateur à haute capacité semble cher, mais il économise sûrement des modules optiques par rapport à un Clos à trois couches.
Voir l'originalRépondre0
0xPeachy
· Il y a 3h
Après avoir tout lu, je me demande simplement : quand pourrai-je obtenir une allocation d'essai pour TPU v6 ?
Voir l'originalRépondre0
SushiLatency
· Il y a 3h
Arm Axion CPU intégré, le calcul hétérogène devient de plus en plus sophistiqué
Voir l'originalRépondre0
Semi-MeltedIceCream
· Il y a 3h
Équilibrage superposé VPU/MXU, une planification à grain fin atteignant ce niveau est vraiment impressionnante
Voir l'originalRépondre0
QuietExitPlan
· Il y a 3h
13.4万 puces dans une seule structure, la façon de diviser ce domaine de défaillance est une question de savoir.
Voir l'originalRépondre0
GlassDomeUniverse
· Il y a 3h
Architecture dense de LLM vers MoE + raisonnement, cette vague est une anticipation de l'industrie anticipée
Voir l'originalRépondre0
Afficher plus