ME News Новости, 18 апреля (UTC+8), команда Moonshot AI недавно объявила, что их технология раздельной обработки Prefill (предварительная загрузка) и Decode (декодирование) успешно расширилась от единственного кластера до межцентровых и гетерогенных аппаратных сред. Согласно статье, этот шаг может значительно снизить стоимость вычислений каждого токена. Ранее расширение этой технологии было затруднено из-за проблем с передачей KV cache. Ключевым фактором этого прорыва стала их гибридная модель Kimi Linear. (Источник: InFoQ)

Посмотреть Оригинал

На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .

6 Лайков

Награда
6
3
1
Поделиться

комментарий

Добавить комментарий

PublicBlockchainUnderTheAurora

· 18ч назад

Интересно, как решается задержка при межDC, в статье об этом не подробно говорится.

Посмотреть ОригиналОтветить0

ExitLiquidityIntern

· 18ч назад

Смешанная модельная архитектура, похоже, является ключевой переменной, ожидайте технические детали.

Посмотреть ОригиналОтветить0

GateUser-c1cab702

· 18ч назад

От одного кластера к нескольким дата-центрам — подумать только, насколько усложняется эта задача.

Посмотреть ОригиналОтветить0

Популярные темы
Подробнее
#
WinGoldBarsWithGrowthPoints
1.2M Популярность
#
WTICrudeFallsBelow90Dollars
1.16M Популярность
#
IsraelStrikesIranBTCPlunges
51.28K Популярность
#
StockTradingChallengeUpTo17000U
174.92K Популярность
#
USIranNegotiationGame
9.4M Популярность

Закреплено

Карта сайта

Moonshot AI расширяет технологию разделения Prefill/Decode на межцентровые и гетерогенные аппаратные платформы

Популярные темы

WinGoldBarsWithGrowthPoints

WTICrudeFallsBelow90Dollars

IsraelStrikesIranBTCPlunges

StockTradingChallengeUpTo17000U

USIranNegotiationGame

Закреплено