NVIDIA розкриває розподіл витрат на Blackwell: вартість GPU подвоїлася, вартість токенів у 35 разів дешевша

Згідно з моніторингом Dongcha Beating, блог NVIDIA аналізує вибір апаратного забезпечення для інференції, підсумовуючи основний аргумент у одному реченні: оцінювати інфраструктуру для інференції слід за показником «вартість за токен», а не «вартість за GPU за годину». Що стосується цін на GPU, Blackwell дорожчий; однак при порівнянні вартості токенів Blackwell значно перевершує попереднє покоління. Блог використовує DeepSeek-R1 (інференс-модель MoE) як тестовий об’єкт, порівнюючи Blackwell (GB300 NVL72) з попереднім поколінням Hopper (HGX H200). Згідно з орендними цінами на хмарному ринку, Blackwell коштує 2,65 долара за GPU за годину, майже вдвічі більше, ніж Hopper — 1,41 долара, але кількість токенів, що видаються за секунду на GPU, зросла з 90 до 6000, що дає 65-кратне збільшення пропускної здатності. В результаті вартість за мільйон токенів знизилася з 4,20 долара до 0,12 долара. Вихід токенів на мегават збільшився у 50 разів. Важливо зазначити, що цифра 0,12 долара базується на повному включенні кількох програмних оптимізацій, зокрема низько-precision інференції FP4 і MTP (мульти-токенне передбачення, що дозволяє моделі генерувати кілька токенів одночасно для швидкості). Оригінальні дані з SemiAnalysis InferenceX v2 показують, що той самий GB300 NVL72, що виконує DeepSeek-R1 без MTP, має вартість близько 2,35 долара за мільйон токенів, яка знижується до приблизно 0,11 долара при увімкненому MTP, що підкреслює 21-кратну різницю через цю одну оптимізацію. Усі наведені результати отримані з тестів однієї моделі DeepSeek-R1, і цифри можуть варіюватися залежно від архітектури та масштабу моделі.