Опубликовать

DeepSeek открывает исходный код DeepInfer: стоимость инференса переписывается



Сегодня DeepSeek полностью открыла исходный код внутреннего фреймворка для инференса DeepInfer и компонента для кодирования и декодирования токенов deepseek-recipe. Они совместимы с платформами NVIDIA и Huawei Ascend.

На базе этого фреймворка суточная пропускная способность одного кластера V4.1 Flash достигла 155 трлн токенов, а при расчёте по тарифу на электроэнергию в часы низкой нагрузки выручка составляет 38 долларов в час на одну карту.

Благодаря разделению Prefill и Decode, повторному использованию KVCache и спекулятивному декодированию эффективность инференса и энергоэффективность значительно повысились.

Прогноз Army: когда фреймворки для инференса переходят из разряда закрытых систем с непрозрачной внутренней логикой в открытый код, ключевым конкурентным преимуществом ИИ становится способность свести стоимость токена к минимуму!
Посмотреть Оригинал
post-image
Эта страница содержит контент третьих сторон. Он не является рекомендацией и не означает одобрения таких взглядов со стороны Gate. Подробнее см. дисклеймер.
DEEPSEEKDEEPSEEK-0,01%


Добавить комментарий
Добавить комментарий

комментарий
Нет комментариев