Google dévoile la huitième génération de TPU, détails de l'architecture réseau de niveau rack 8t

AIMPACT message, le 16 mai (UTC+8), Google a révélé les détails architecturaux de la connexion au niveau du rack de la huitième génération de TPU (TPU 8t) au réseau Virgo.
Ce réseau utilise des commutateurs à haute cardinalité et une topologie plate à deux couches sans obstruction, augmentant la bande passante du réseau du centre de données à 4 fois celle de la génération précédente, avec une seule structure pouvant connecter plus de 134 000 puces TPU 8t, offrant une bande passante bidirectionnelle non bloquante de 47 Pb/s et une performance d’expansion quasi linéaire de plus de 1,7K ExaFlops.
Le TPU 8t lui-même utilise une topologie en anneau 3D, un seul super module pouvant s’étendre jusqu’à 9600 puces, et supporte une extension à plus d’un million de puces via JAX et Pathways.
Les technologies clés incluent l’accélérateur SparseCore, le chevauchement et l’équilibrage de l’échelle VPU/MXU, la prise en charge native de FP4, ainsi que l’intégration du CPU Axion basé sur Arm pour éliminer le goulot d’étranglement de l’hôte.
Cette conception vise à accompagner l’évolution des modèles d’IA, passant de modèles de langage volumineux et denses à des architectures à grande échelle de spécialistes hybrides et d’inférences intensives.
(Source : InFoQ)
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
  • Récompense
  • Commentaire
  • Reposter
  • Partager
Commentaire
Ajouter un commentaire
Ajouter un commentaire
Aucun commentaire