Nvidia publie le détail des coûts de Blackwell : la GPU coûte deux fois plus cher, chaque token devient 35 fois moins cher en termes de coût unitaire

robot
Création du résumé en cours
Selon le monitoring Beating, Nvidia a publié un article décomposant le choix du matériel pour l'inférence, avec un argument clé en une phrase : l’évaluation de l’infrastructure d’inférence doit se baser sur le « coût par token » plutôt que sur le « coût par GPU par heure ». En comparant le prix unitaire du GPU, Blackwell est plus cher ; en comparant le coût par token, Blackwell écrase la génération précédente.

L’article utilise le modèle d’inférence DeepSeek-R1 (MoE) comme objet de test, en comparant Blackwell (GB300 NVL72) avec la génération précédente Hopper (HGX H200). Selon les prix de location du marché cloud, Blackwell coûte 2,65 dollars par GPU par heure, presque le double des 1,41 dollars de Hopper, mais la production de tokens par GPU par seconde passe de 90 à 6000, une augmentation de 65 fois. La répartition de cette amélioration de débit ramène le coût par million de tokens de 4,20 dollars à 0,12 dollar. La production de tokens par mégawatt est augmentée de 50 fois.

Il faut noter que ce chiffre de 0,12 dollar est basé sur l’activation de plusieurs optimisations logicielles, notamment l’inférence en faible précision FP4 avec MTP (prédiction multi-token, permettant au modèle de générer plusieurs tokens en une seule fois pour accélérer). Les données brutes de SemiAnalysis InferenceX v2 montrent que, pour le même GB300 NVL72 exécutant DeepSeek-R1, sans MTP, le coût par million de tokens est d’environ 2,35 dollars, et en l’activant, il descend à environ 0,11 dollar, cette seule optimisation permettant une différence de 21 fois. Tous ces résultats concernent le modèle DeepSeek-R1 seul, et les chiffres peuvent varier selon l’architecture et la taille du modèle.
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
  • Récompense
  • Commentaire
  • Reposter
  • Partager
Commentaire
Ajouter un commentaire
Ajouter un commentaire
Aucun commentaire
  • Épinglé