Sakana AI s'associe à NVIDIA : faire en sorte que le GPU évite 80 % des calculs inutiles des grands modèles, accélérant l'inférence H100 de 30 %

Selon la surveillance Beating, Sakana AI en collaboration avec NVIDIA a open source un format de données clairsemées appelé TwELL et un noyau d’accélération associé, permettant avec succès au GPU de sauter les calculs inutiles dont le « résultat est proche de zéro » lors de l’exécution de grands modèles. Cette solution, sans perte de précision du modèle, augmente la vitesse d’inférence du H100 jusqu’à 30 %, accélère l’entraînement jusqu’à 24 %, et réduit considérablement la mémoire vidéo maximale.
Les couches feedforward (FFN) des grands modèles consomment la majorité des paramètres et de la puissance de calcul. Mais en réalité, lors de chaque génération de texte, plus de 80 % des neurones sont en « état de sommeil » (valeurs d’activation proches de zéro), sans contribution à la résultat final. Si l’on pouvait sauter ces neurones, cela permettrait d’économiser une énorme puissance de calcul.
Cependant, les GPU modernes sont naturellement spécialisés dans le calcul de matrices denses uniformes. Si l’on utilise des méthodes traditionnelles pour repérer et lire des données dispersées, le coût de recherche et de lecture de ces données annulerait tout gain de puissance de calcul économisé.
Le format TwELL a été conçu précisément pour briser cette contrainte matérielle. Il s’aligne parfaitement avec la logique de parallélisme du GPU : au lieu de rassembler des données non nulles à travers différentes régions comme dans les méthodes traditionnelles, il divise les données en petits blocs (tuiles) que le GPU traite efficacement.
Ainsi, chaque cœur de calcul du GPU peut directement empaqueter localement les données utiles, éliminant complètement le coût de lecture/écriture globales en mémoire vidéo, et s’intégrant parfaitement dans le pipeline d’accélération moderne.
Dans un modèle de 1,5 milliard de paramètres, une simple régularisation légère lors de l’entraînement suffit à réduire la proportion de neurones réellement nécessaires à moins de 2 %, sans dégradation des performances sur sept tâches en aval.
Les données révèlent également une règle : plus le modèle est grand, plus les neurones en sommeil sont nombreux (le pourcentage de non-zéro dans un modèle de 2 milliards de paramètres est inférieur de 38 % à celui d’un modèle de 500 millions).
Cela signifie qu’à l’avenir, en poursuivant la création de modèles encore plus grands, cette optimisation spécifique au matériel sous-jacent libérera des gains de performance encore plus significatifs.