Nvidia publie le détail des coûts de Blackwell : le GPU coûte deux fois plus cher, chaque jeton est 35 fois moins cher

robot
Création du résumé en cours

CoinWorld消息,英伟达发布了关于其Blackwell系列的成本明细,指出GPU成本比上一代贵一倍,但每token成本却便宜35倍。根据英伟达的博客,评估推理基础设施时应关注「每token成本」而非「每GPU每小时成本」。以deepseek-r1(MOE推理模型)为测试对象,Blackwell(GB300 NVL72)与上一代Hopper(HGX H200)进行对比。按云市场租赁参考价,Blackwell每GPU每小时2.65美元,较Hopper的1.41美元贵近一倍,但单GPU每秒token产出从90跳到6000,提升65倍,分摊后每百万token成本从4.20美元降至0.12美元。需要注意的是,0.12美元的成本是基于FP4低精度推理和多token预测等多项软件优化开启的前提下得出的。

Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
  • Récompense
  • Commentaire
  • Reposter
  • Partager
Commentaire
Ajouter un commentaire
Ajouter un commentaire
Aucun commentaire
  • Épingler