Moonshot AI расширяет технологию разделения Prefill/Decode на межцентровые и гетерогенные аппаратные платформы

ME News Новости, 18 апреля (UTC+8), команда Moonshot AI недавно объявила, что их технология раздельной обработки Prefill (предварительная заливка) и Decode (декодирование) успешно расширилась от одного кластера до межцентровых и гетерогенных аппаратных сред. Согласно статье, этот шаг может значительно снизить стоимость вычислений каждого токена. Ранее расширение этой технологии было затруднено из-за проблем с передачей KV cache. Ключевым фактором этого прорыва стала их гибридная модель Kimi Linear. (Источник: InFoQ)
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • 10
  • 2
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
GateUser-ad8b77bd
· 10ч назад
От единственного кластера до межцентровых решений — сложность реализации несравнима.
Посмотреть ОригиналОтветить0
CheckTheBlockchainBefore
· 20ч назад
Как именно осуществляется смешивание в гибридной модели? MOE или какая-то другая архитектура?
Посмотреть ОригиналОтветить0
FeeTakerPhD
· 21ч назад
Наконец-то дождались развертывания между дата-центрами, действительно ли можно снизить затраты на передачу кэша KV?
Посмотреть ОригиналОтветить0
PopFruitCollage
· 21ч назад
Мультицентровое и гетерогенное хранение данных, сложность эксплуатации взрывается, не так ли?
Посмотреть ОригиналОтветить0
ExitLiqNow
· 21ч назад
Ранее передача кэша KV, теперь достигнут важный рубеж
Посмотреть ОригиналОтветить0
OwlAuthorizationMonitor
· 21ч назад
Каждый токен подешевле, при большом объеме — настоящие деньги и серебро
Посмотреть ОригиналОтветить0
TheStoneBehindTheVolcano
· 21ч назад
Moonshot эта волна технического долга всё ещё выглядит довольно хорошо
Посмотреть ОригиналОтветить0
ButterStop-LossLine
· 21ч назад
Снижение затрат — это главный принцип, ожидайте реальные измеренные данные
Посмотреть ОригиналОтветить0
LatencyLullaby
· 21ч назад
Предварительная подготовка и раздельное разделение, разве задержка не станет выше?
Посмотреть ОригиналОтветить0
MechanicalHummingbirdGlass
· 21ч назад
Модель смешивания Kimi действительно хороша, она может работать на разном аппаратном обеспечении.
Посмотреть ОригиналОтветить0
Подробнее
  • Закреплено