SonicMoE atteint un débit de pointe sur le GPU NVIDIA Blackwell.

robot
Création du résumé en cours
ME News 消息,4 月 23 日(UTC+8),SonicMoE 宣布现可在 NVIDIA Blackwell GPU 上实现峰值吞吐量运行。
Selon les données fournies, les performances TFLOPS de propagation avant et arrière du modèle sont respectivement 54 % et 35 % supérieures à la référence DeepGEMM, et les performances TFLOPS de propagation avant sont 21 % supérieures à l'exemple officiel de Triton.
Dans le même temps, SonicMoE conserve toujours la plus faible empreinte mémoire d'activation, identique à celle d'un modèle dense. (Source : InFoQ)
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
  • Récompense
  • Commentaire
  • Reposter
  • Partager
Commentaire
Ajouter un commentaire
Ajouter un commentaire
Aucun commentaire