Le site Web de Coinjie a annoncé que Sakana AI, en collaboration avec Nvidia, a open source le format de données clairsemé nommé twell et le noyau d'accélération associé, permettant avec succès au GPU de sauter les calculs inutiles « dont le résultat est proche de zéro » lors de l'exécution de grands modèles.

Cette solution, sans perte de précision du modèle, a permis d'augmenter la vitesse d'inférence du H100 jusqu'à 30 % et la vitesse d'entraînement jusqu'à 24 %, tout en économisant considérablement la mémoire vidéo maximale.
Les données révèlent également une règle : plus le nombre de paramètres du modèle est grand, plus il y a de neurones en sommeil (le pourcentage de non-zéro dans un modèle de 2 milliards de paramètres est inférieur de 38 % à celui d'un modèle de 500 millions).
Cela signifie qu'à l'avenir, lorsque l'on poursuivra la création de modèles de plus grande taille, cette optimisation pour le matériel sous-jacent libérera des gains de performance encore plus importants.