Nvidia presenta los detalles de costos de Blackwell: la GPU cuesta el doble, y cada token es 35 veces más barato en comparación

Según la monitorización de Beating, Nvidia publicó un blog desglosando la selección de hardware para inferencia, con el argumento principal en una frase: la evaluación de la infraestructura de inferencia debe basarse en el «costo por token» en lugar de «costo por GPU por hora». Usando el precio unitario de GPU, Blackwell es más caro; usando el costo por token, Blackwell supera con creces a la generación anterior.

El blog toma como objeto de prueba el modelo de inferencia MoE DeepSeek-R1, comparando Blackwell (GB300 NVL72) con la generación anterior Hopper (HGX H200). Según los precios de referencia del mercado en la nube, Blackwell cuesta 2.65 dólares por GPU por hora, casi el doble que Hopper, que cuesta 1.41 dólares, pero la producción de tokens por GPU por segundo pasa de 90 a 6000, una mejora de 65 veces en rendimiento, lo que reduce el costo por millón de tokens de 4.20 dólares a 0.12 dólares. La producción de tokens por megavatio aumenta 50 veces.

Es importante tener en cuenta que este número de 0.12 dólares se basa en la activación de múltiples optimizaciones de software, como inferencia de baja precisión FP4 y MTP (predicción de múltiples tokens, que permite al modelo generar varios tokens en una sola pasada para acelerar). Los datos originales de SemiAnalysis InferenceX v2 muestran que, con el mismo GB300 NVL72 ejecutando DeepSeek-R1, sin activar MTP, el costo por millón de tokens es de aproximadamente 2.35 dólares, y al activarlo cae a unos 0.11 dólares, una diferencia de 21 veces solo por esta optimización. Todos los datos anteriores corresponden a pruebas con el modelo DeepSeek-R1 individual; los números pueden variar con diferentes arquitecturas y escalas de modelos.