Asteras Labs publie 'Série Scorpio X'…… Réduire le goulet d'étranglement de la connexion des centres de données IA

L’un des plus grands défis des centres de données AI est la « connexion ». Si la transmission de données entre semi-conducteurs subit des retards, les accélérateurs AI coûteux ne peuvent que rester inactifs en attendant. Pour cela, Astera Labs a lancé une nouvelle gamme de commutateurs pour réduire cette latence.

La société de puces réseau Astera Labs a annoncé le lancement de la dernière « série Scorpio X » de commutateurs intelligents à structure de données. La société affirme que ce produit est le plus grand commutateur à structure « sémantique mémoire » ouvert de l’industrie. Selon ses explications, ce produit se concentre sur l’aide aux opérateurs de centres de données à très grande échelle pour étendre davantage les ressources de calcul tout en réduisant les problèmes de latence.

Avec cette annonce, la gamme existante de commutateurs à structure PCIe « Scorpio P » a également été étendue. La nouvelle série P offre diverses configurations allant de 32 à 320 canaux. Cela offre plus de choix aux concepteurs de centres de données qui doivent transférer efficacement de grandes quantités de données entre clusters de processeurs AI.

À l’ère de l’IA à très grande échelle, le goulot d’étranglement n’est pas le GPU mais la transmission de données

Astera Labs estime que, dans l’expansion des systèmes AI, le problème central n’est plus la performance pure des puces, mais l’efficacité de la connexion entre celles-ci. Les grands modèles de langage récents deviennent extrêmement volumineux, avec des dizaines de billions de paramètres, rendant difficile de faire tenir tous les calculs dans un seul rack de serveur. Finalement, il faut intégrer des centaines voire des milliers de GPU dans un énorme cluster pour faire fonctionner le tout.

Le problème réside dans le fait que, dans ce processus, les données circulent sans cesse entre les puces, ce qui entraîne une congestion accrue. Lorsque les données nécessaires attendent d’arriver d’autres parties, le GPU reste inactif. Étant donné que le coût opérationnel horaire d’un cluster AI peut atteindre plusieurs milliers de dollars, soit plusieurs millions de wons, ce temps d’attente réduit gravement la rentabilité et l’efficacité du centre de données.

Accéder à la structure comme à la mémoire… réduire la latence, améliorer l’efficacité du traitement

Le produit phare, le commutateur intelligent à 320 canaux de la série Scorpio X, se distingue par une refonte de l’interaction entre le commutateur et la puce. Ce produit est basé sur une architecture « sémantique mémoire », permettant aux GPU et autres accélérateurs AI d’accéder aux ressources réparties dans toute la structure via des opérations simples de chargement/mise en mémoire. En résumé, il s’agit d’une architecture permettant d’accéder aux ressources distantes comme si elles étaient de la mémoire locale.

Ainsi, toute la structure fonctionne comme une seule piscine de mémoire unifiée. On peut s’attendre à ce que cela réduise les coûts liés à la conversion des paquets de données traditionnels, diminuant ainsi la latence. Pour les centres de données AI, cela signifie une capacité accrue à traiter plus de tâches avec les mêmes ressources de calcul.

De plus, ce produit intègre la technologie propriétaire d’Astera Labs, « Hypercast » et « In-Network Compute ». Il s’agit d’une architecture où le commutateur peut non seulement transmettre des données, mais aussi exécuter directement une partie du traitement. En particulier, il peut effectuer des opérations de « rassemblement » telles que l’agrégation ou la distribution de données au niveau du réseau. La société explique que la vitesse de ces opérations peut être doublée par rapport à avant. Cela pourrait avoir un impact direct sur la « rentabilité token » des charges de travail AI, c’est-à-dire l’efficacité du traitement par unité de coût.

Une conception à haute densité de 320 canaux remplaçant les commutateurs traditionnels… supporte aussi les standards ouverts

Un autre avantage majeur de la série Scorpio X est sa conception « à haute capacité ». Elle offre une connectivité basée sur PCIe 6 avec 320 canaux sur une seule puce, pouvant remplacer plusieurs commutateurs de centres de données traditionnels. Cela simplifie la structure du réseau, réduit la distance physique nécessaire pour la transmission des données, et diminue la complexité globale du système.

La série Scorpio P, étendue, vient compléter la série X. Astera Labs indique que ces produits sont conçus pour soutenir conjointement la construction de réseaux en amont et de systèmes de calcul AI. La société insiste sur le fait qu’ils supportent non seulement les standards ouverts, mais aussi des protocoles spécifiques à des plateformes comme NVLink Fusion de NVIDIA, UALink, etc., permettant de fournir une architecture réseau réellement applicable à divers processeurs AI.

Le PDG Jitendra Mohan a déclaré : « Les modèles de pointe qui mènent aujourd’hui les applications AI les plus exigeantes nécessitent une infrastructure de connexion qui corresponde à la performance de leurs accélérateurs. » Cela signifie que, pour continuer à faire évoluer l’industrie AI, il faut éviter les goulots d’étranglement liés à la connectivité des puces.

La sortie d’Astera Labs montre que la compétition en AI ne se limite plus à la performance des semi-conducteurs eux-mêmes, mais se déplace rapidement vers la structure de connexion du système entier. À l’avenir, dans les centres de données AI, il sera tout aussi crucial d’intégrer efficacement ces puces que de disposer de puces plus rapides, ce qui pourrait devenir la véritable clé de la compétitivité.