ME News Новости, 18 апреля (UTC+8), команда Moonshot AI недавно объявила, что их технология раздельной обработки Prefill (предварительная загрузка) и Decode (декодирование) успешно расширена от единого кластера до межцентровых и гетерогенных аппаратных сред. Согласно статье, этот шаг может значительно снизить стоимость вычислений каждого токена. Ранее расширение этой технологии было затруднено из-за проблем с передачей KV cache. Ключевым фактором этого прорыва стала их гибридная модель Kimi Linear. (Источник: InFoQ)

Посмотреть Оригинал

На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .

6 Лайков

Награда
6
5
Репост
Поделиться

комментарий

Добавить комментарий

EchoOfL2

· 13ч назад

От одного кластера к нескольким дата-центрам — этот шаг достаточно большой, проверена ли его стабильность?

Посмотреть ОригиналОтветить0

AirdropSideQuest

· 17ч назад

Адаптация к разнородному оборудованию — это самая сложная часть, и если Moonshot справляется с этим, значит команда инфраструктуры действительно сильна

Посмотреть ОригиналОтветить0

SugarAirdropDream

· 17ч назад

Стоимость — это ключ к внедрению ИИ, идея о раздельной работе Prefill и Decode, вероятно, уже изучается командами крупных моделей в ночную смену.

Посмотреть ОригиналОтветить0

GlitchOrchard

· 17ч назад

Kimi эта технологическая прорыв действительно крутая, при межцентровом передаче данных всё ещё сохраняется низкая задержка, стоимость снизилась, и на уровне приложений появляется больше возможностей для развития

Посмотреть ОригиналОтветить0

MoonlightMineralWater

· 17ч назад

Снижение стоимости каждого токена означает, что малые и средние разработчики тоже смогут использовать длинный контекст, что хорошо.

Посмотреть ОригиналОтветить0

Популярные темы
Подробнее
#
WinGoldBarsWithGrowthPoints
1.24M Популярность
#
WTICrudeFallsBelow90Dollars
1.19M Популярность
#
IsraelStrikesIranBTCPlunges
51.57K Популярность
#
StockTradingChallengeUpTo17000U
202.12K Популярность
#
USIranNegotiationGame
9.42M Популярность

Закреплено

Карта сайта

Moonshot AI расширяет технологию разделения Prefill/Decode на межцентровые и гетерогенные аппаратные платформы

Популярные темы

WinGoldBarsWithGrowthPoints

WTICrudeFallsBelow90Dollars

IsraelStrikesIranBTCPlunges

StockTradingChallengeUpTo17000U

USIranNegotiationGame

Закреплено