NVIDIA révèle la répartition des coûts de Blackwell : les coûts des GPU doublent, les coûts des jetons sont 35 fois moins chers

Selon la surveillance de Dongcha Beating, le blog de NVIDIA dissèque la sélection du matériel d’inférence, avec l’argument principal résumé en une phrase : l’évaluation de l’infrastructure d’inférence devrait se concentrer sur le « coût par token » plutôt que sur le « coût par GPU par heure ». En termes de prix des GPU, Blackwell est plus cher ; cependant, en comparant les coûts par token, Blackwell dépasse largement la génération précédente. Le blog utilise DeepSeek-R1 (un modèle d’inférence MoE) comme sujet de test, en comparant Blackwell (GB300 NVL72) avec la génération précédente Hopper (HGX H200). Sur la base des prix de référence du marché cloud, Blackwell coûte 2,65 $ par GPU par heure, presque le double de Hopper à 1,41 $, mais la sortie de tokens par seconde par GPU passe de 90 à 6000, ce qui entraîne une augmentation de 65 fois du débit. Par conséquent, le coût par million de tokens chute de 4,20 $ à 0,12 $. La sortie de tokens par mégawatt augmente de 50 fois. Il est important de noter que le chiffre de 0,12 $ est basé sur l’activation complète de plusieurs optimisations logicielles, y compris l’inférence en faible précision FP4 et MTP (prédiction multi-token, permettant au modèle de générer plusieurs tokens en une seule fois pour la vitesse). Les données originales de SemiAnalysis InferenceX v2 montrent que le même GB300 NVL72 exécutant DeepSeek-R1, sans MTP, a un coût d’environ 2,35 $ par million de tokens, qui chute à environ 0,11 $ avec MTP activé, mettant en évidence une différence de 21 fois due à cette seule optimisation. Tous les résultats ci-dessus proviennent de tests du modèle unique DeepSeek-R1, et les chiffres peuvent varier selon différentes architectures et échelles de modèles.