NVIDIA опубликовала детали стоимости Blackwell: видеокарты в два раза дороже, а за токен платишь в 35 раз меньше

Китайская сеть сообщает, что NVIDIA опубликовала детали затрат на серию Blackwell, указав, что стоимость GPU в два раза выше, чем у предыдущего поколения, но стоимость за токен при этом дешевле в 35 раз. Согласно блогу NVIDIA, при оценке инфраструктуры для вывода выводов следует обращать внимание на «стоимость за токен», а не на «стоимость за GPU в час». В качестве тестового объекта использовалась модель deepseek-r1 (MOE inference model), сравнивая Blackwell (GB300 NVL72) с предыдущим Hopper (HGX H200). По ориентировочной цене аренды на облачном рынке, Blackwell стоит 2,65 доллара за GPU в час, что почти в два раза дороже, чем Hopper — 1,41 доллара. Однако производительность на один GPU в секунду выросла с 90 до 6000 токенов, что в 65 раз больше, а после распределения стоимость за миллион токенов снизилась с 4,20 до 0,12 доллара. Следует отметить, что стоимость в 0,12 доллара основана на включении нескольких программных оптимизаций, таких как низкоточностное выводы FP4 и предсказание нескольких токенов.