Согласно мониторингу Beating, NVIDIA опубликовала блог, в котором разбирается выбор аппаратного обеспечения для инференса, основной тезис: оценка инфраструктуры инференса должна основываться на «стоимости за токен», а не на «стоимости за GPU в час». Используя цену за GPU, Blackwell дороже; используя стоимость за токен, Blackwell значительно превосходит предыдущие поколения.

Блог использует модель DeepSeek-R1 (MoE модель для инференса) в качестве тестового объекта, сравнивая Blackwell (GB300 NVL72) с предыдущим Hopper (HGX H200). Согласно ценам аренды на облачном рынке, Blackwell стоит около 2.65 долларов за GPU в час, почти в два раза дороже Hopper, который стоит 1.41 доллара, но производительность по токенам на GPU в секунду выросла с 90 до 6000, что при 65-кратном увеличении пропускной способности приводит к снижению стоимости за миллион токенов с 4.20 до 0.12 долларов. Производительность по токенам на мегаватт увеличилась в 50 раз.

Следует учитывать, что цифра 0.12 долларов основана на использовании FP4 низкоразрядной инференсной технологии с MTP (многотокенное предсказание, позволяющее модели генерировать несколько токенов за один раз для ускорения) и других программных оптимизациях, полностью активированных. Исходные данные SemiAnalysis InferenceX v2 показывают, что при запуске GB300 NVL72 модели DeepSeek-R1 без MTP стоимость за миллион токенов составляет около 2.35 долларов, а при включении — около 0.11 долларов, что дает разрыв в 21 раз. Все приведенные данные — результаты тестирования модели DeepSeek-R1 в одиночном режиме; цифры для других архитектур и масштабов могут отличаться.

Посмотреть Оригинал

На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .

Награда
лайк
комментарий
Репост
Поделиться

комментарий

Добавить комментарий

Нет комментариев

Популярные темы
Подробнее
#
MyGateTradeStory
820,55K Популярность
#
WarshDebutsAsFedHoldsRatesSteady
1,43M Популярность
#
IsraelStrikesIranBTCPlunges
59,15K Популярность
#
PredictWorldCup🇺🇸vs🇵🇾
811,83K Популярность
#
TradFiCFDGoldMaster
1,06M Популярность

Закреплено

Карта сайта

NVIDIA опубликовала детали затрат на Blackwell: видеокарты в два раза дороже, а за каждый токен платят в 35 раз меньше.

Популярные темы

MyGateTradeStory

WarshDebutsAsFedHoldsRatesSteady

IsraelStrikesIranBTCPlunges

PredictWorldCup🇺🇸vs🇵🇾

TradFiCFDGoldMaster

Закреплено