Публікація

DeepSeek відкрила код DeepInfer: витрати на інференс переписуються


Сьогодні DeepSeek повністю відкрила вихідний код внутрішнього фреймворку для інференсу DeepInfer і компонента кодування та декодування токенів deepseek-recipe, сумісного з платформами NVIDIA та Huawei Ascend.
На базі цього фреймворку добова пропускна здатність одного кластера V4.1 Flash уже сягнула 155 трильйонів токенів, а дохід за розрахунку за нічним тарифом на електроенергію становить 38 доларів на годину з однієї карти.
Завдяки розділенню Prefill/Decode, повторному використанню KVCache та спекулятивному декодуванню ефективність інференсу й енергоефективність значно зросли.
Прогноз Army: коли фреймворки для інференсу переходять від закритих систем до відкритого коду, головна конкурентна перевага в AI — це здатність знизити вартість токена до мінімуму!
Переглянути оригінал
post-image
Ця сторінка містить сторонній контент і не є жодною порадою та не означає, що Gate схвалює такі погляди. Докладніше див. застереження.
DEEPSEEKDEEPSEEK-0,01%


Додати коментар
Додати коментар

Прокоментувати
Немає коментарів