JetBrains эта волна открытого исходного кода очень практична, модель на 12 миллиардов активирована только на 2,5 миллиарда, затраты строго контролируются, ускорение черновика MTP тоже довольно интересно

Посмотреть Оригинал
CoinNetwork
JetBrains открытый исходный код Mellum-2 модели: встроенная поддержка MTP-заголовков для ускорения спекулятивного декодирования
JetBrains开源Mellum-2,12B参数的代码混合专家模型。为控制推理成本,每个token仅激活约25亿参数,权重已在Hugging Face发布,Apache 2.0。新增多token预测(MTP)模块,推理时MTP头作为草稿模型加速采样。提供基础、对话、思考三版,思考版可在输出前展示显式思维链。基准:Humaneval 41.46%,MMLU 70.87%。
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • комментарий
  • Репост
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
Нет комментариев
  • Закреплено