Moonshot AI расширяет технологию разделения Prefill/Decode на межцентровые и гетерогенные аппаратные платформы

ME News Новости, 18 апреля (UTC+8), команда Moonshot AI недавно объявила, что их технология раздельной обработки Prefill (предварительная заливка) и Decode (декодирование) успешно расширена от одного кластера до межцентровых и гетерогенных аппаратных сред. Согласно статье, этот шаг может значительно снизить стоимость вывода каждого токена. Ранее расширение этой технологии было затруднено из-за проблем с передачей KV cache. Ключевым фактором этого прорыва стала их гибридная модель Kimi Linear. (Источник: InFoQ)

Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • комментарий
  • Репост
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
Нет комментариев
  • Закрепить