A NVIDIA revela a divisão de custos do Blackwell: custos de GPU duplicam, custos de tokens são 35 vezes mais baratos

De acordo com o monitoramento da Dongcha Beating, o blog da NVIDIA analisa a seleção de hardware de inferência, com o argumento principal resumido numa frase: avaliar a infraestrutura de inferência deve focar no ‘custo por token’ em vez de no ‘custo por GPU por hora’. Em termos de preços de GPU, o Blackwell é mais caro; no entanto, ao comparar os custos por token, o Blackwell supera significativamente a geração anterior. O blog usa o DeepSeek-R1 (um modelo de inferência MoE) como objeto de teste, comparando o Blackwell (GB300 NVL72) com a geração anterior Hopper (HGX H200). Com base nos preços de referência do mercado de nuvem, o Blackwell custa 2,65 dólares por GPU por hora, quase o dobro do Hopper, que custa 1,41 dólares, mas a saída de tokens por segundo por GPU salta de 90 para 6000, resultando numa aumento de 65 vezes na taxa de processamento. Consequentemente, o custo por milhão de tokens cai de 4,20 dólares para 0,12 dólares. A saída de tokens por megawatt aumenta 50 vezes. É importante notar que o valor de 0,12 dólares baseia-se na ativação completa de várias otimizações de software, incluindo inferência de baixa precisão FP4 e MTP (previsão de múltiplos tokens, permitindo que o modelo gere vários tokens de uma só vez para maior velocidade). Dados originais do SemiAnalysis InferenceX v2 mostram que o mesmo GB300 NVL72 executando DeepSeek-R1, sem MTP, tem um custo de cerca de 2,35 dólares por milhão de tokens, que cai para cerca de 0,11 dólares com MTP ativado, destacando uma diferença de 21 vezes devido a essa única otimização. Todos os resultados acima são de testes do modelo único DeepSeek-R1, e os números podem variar sob diferentes arquiteturas e escalas de modelos.