NVIDIA опубликовала детали затрат на Blackwell: видеокарты в два раза дороже, а за каждый токен платят в 35 раз меньше.

Согласно мониторингу Beating, NVIDIA опубликовала блог, в котором разбирается выбор аппаратного обеспечения для инференса, основной тезис: оценка инфраструктуры инференса должна основываться на «стоимости за токен», а не на «стоимости за GPU в час». Используя цену за GPU, Blackwell дороже; используя стоимость за токен, Blackwell значительно превосходит предыдущие поколения.

Блог использует модель DeepSeek-R1 (MoE модель для инференса) в качестве тестового объекта, сравнивая Blackwell (GB300 NVL72) с предыдущим Hopper (HGX H200). Согласно ценам аренды на облачном рынке, Blackwell стоит около 2.65 долларов за GPU в час, почти в два раза дороже Hopper, который стоит 1.41 доллара, но производительность по токенам на GPU в секунду выросла с 90 до 6000, что при 65-кратном увеличении пропускной способности приводит к снижению стоимости за миллион токенов с 4.20 до 0.12 долларов. Производительность по токенам на мегаватт увеличилась в 50 раз.

Следует учитывать, что цифра 0.12 долларов основана на использовании FP4 низкоразрядной инференсной технологии с MTP (многотокенное предсказание, позволяющее модели генерировать несколько токенов за один раз для ускорения) и других программных оптимизациях, полностью активированных. Исходные данные SemiAnalysis InferenceX v2 показывают, что при запуске GB300 NVL72 модели DeepSeek-R1 без MTP стоимость за миллион токенов составляет около 2.35 долларов, а при включении — около 0.11 долларов, что дает разрыв в 21 раз. Все приведенные данные — результаты тестирования модели DeepSeek-R1 в одиночном режиме; цифры для других архитектур и масштабов могут отличаться.