NVIDIA раскрывает разбивку стоимости Blackwell: стоимость GPU удваивается, стоимость токенов в 35 раз дешевле

Согласно мониторингу Dongcha Beating, блог NVIDIA разбирает выбор инфраструктуры для вывода, с основным аргументом, изложенным в одном предложении: оценка инфраструктуры для вывода должна сосредоточиться на «стоимости за токен», а не на «стоимости за GPU в час». В отношении цен на GPU, Blackwell дороже; однако при сравнении стоимости за токен, Blackwell значительно превосходит предыдущее поколение. Блог использует DeepSeek-R1 (модель вывода MoE) в качестве тестового объекта, сравнивая Blackwell (GB300 NVL72) с предыдущим поколением Hopper (HGX H200). Исходя из ориентировочных цен на аренду в облачном рынке, Blackwell стоит 2,65 доллара за GPU в час, почти вдвое дороже Hopper, чей ценник составляет 1,41 доллара, но выход токенов в секунду на GPU увеличивается с 90 до 6000, что дает 65-кратное увеличение пропускной способности. В результате стоимость за миллион токенов снижается с 4,20 до 0,12 доллара. Выход токенов на мегаватт увеличивается в 50 раз. Важно отметить, что цифра 0,12 доллара основана на полном включении нескольких программных оптимизаций, включая низко-precision вывод FP4 и MTP (многотокенное предсказание, позволяющее модели генерировать несколько токенов одновременно для ускорения). Исходные данные из SemiAnalysis InferenceX v2 показывают, что та же модель GB300 NVL72, работающая с DeepSeek-R1 без MTP, стоит около 2,35 доллара за миллион токенов, а при включении MTP стоимость снижается до примерно 0,11 доллара, что демонстрирует 21-кратную разницу благодаря этой одной оптимизации. Все вышеперечисленные результаты получены при тестировании одной модели DeepSeek-R1, и показатели могут варьироваться в зависимости от архитектуры и масштаба модели.