Nvidia оприлюднила деталі витрат Blackwell: GPU вдвічі дорожчий, кожен токен дешевший у 35 разів

За даними моніторингу Beating, NVIDIA опублікувала блог із розбором вибору апаратного забезпечення для інференсу, основний аргумент у одному реченні: оцінювати інфраструктуру інференсу слід за «вартостю кожного токена», а не за «вартістю кожного GPU за годину». За ціною GPU, Blackwell дорожчий; за вартістю токена — Blackwell значно переважає попереднє покоління.

Блог використовує модель DeepSeek-R1 (MoE модель для інференсу) як тестовий об’єкт, порівнюючи Blackwell (GB300 NVL72) з попереднім Hopper (HGX H200). За орендною ціною на хмарному ринку, Blackwell коштує 2.65 доларів за GPU за годину, майже вдвічі дорожчий за Hopper, який коштує 1.41 долара, але продуктивність за токенами зросла з 90 до 6000 токенів за секунду, що дає 65-кратне збільшення пропускної здатності, і вартість за мільйон токенів знизилася з 4.20 до 0.12 долара. Виробництво токенів на мегаваті зросло у 50 разів.

Важливо врахувати, що цифра 0.12 долара базується на включенні низькоточного режиму FP4 для інференсу та MTP (мульти-токенне прогнозування, яке дозволяє моделі генерувати кілька токенів одночасно для прискорення), а також інших програмних оптимізацій. Початкові дані SemiAnalysis InferenceX v2 показують, що при запуску GB300 NVL72 для DeepSeek-R1 без MTP вартість за мільйон токенів становить близько 2.35 долара, а при включенні — зменшується до приблизно 0.11 долара, тобто ця оптимізація дає різницю у 21 раз. Усі наведені дані — результати тестування моделі DeepSeek-R1, і цифри можуть відрізнятися для інших архітектур і масштабів моделей.