NVIDIA revela el desglose de costos de Blackwell: los costos de GPU se duplican, los costos de tokens son 35 veces más baratos

Según la monitorización de Dongcha Beating, el blog de NVIDIA analiza la selección del hardware de inferencia, resumiendo el argumento principal en una sola frase: evaluar la infraestructura de inferencia debería centrarse en el “costo por token” en lugar de en el “costo por GPU por hora”. En términos de precios de GPU, Blackwell es más caro; sin embargo, al comparar los costos por token, Blackwell supera significativamente a la generación anterior. El blog usa DeepSeek-R1 (un modelo de inferencia MoE) como sujeto de prueba, comparando Blackwell (GB300 NVL72) con la generación anterior Hopper (HGX H200). Basándose en precios de referencia del mercado en la nube, Blackwell cuesta 2,65 dólares por GPU por hora, casi el doble que Hopper, que cuesta 1,41 dólares, pero la salida de tokens por segundo por GPU pasa de 90 a 6000, resultando en un aumento de 65 veces en el rendimiento. En consecuencia, el costo por millón de tokens cae de 4,20 dólares a 0,12 dólares. La salida de tokens por megavatio aumenta 50 veces. Es importante señalar que la cifra de 0,12 dólares se basa en la habilitación completa de múltiples optimizaciones de software, incluyendo inferencia de baja precisión FP4 y MTP (predicción de múltiples tokens, que permite al modelo generar varios tokens a la vez para mayor velocidad). Los datos originales de SemiAnalysis InferenceX v2 muestran que el mismo GB300 NVL72 ejecutando DeepSeek-R1, sin MTP, tiene un costo de aproximadamente 2,35 dólares por millón de tokens, que cae a unos 0,11 dólares con MTP habilitado, destacando una diferencia de 21 veces debido a esta única optimización. Todos los resultados anteriores provienen de pruebas del modelo único DeepSeek-R1, y los números pueden variar bajo diferentes arquitecturas y escalas de modelos.