JetBrains 這波開源很實在,12B 模型只激活 2.5B,成本控得死死的,MTP 草稿加速也有點意思

查看原文
币 界 网
JetBrains開源Mellum-2代碼模型:內置MTP頭支持投機解碼加速
JetBrains 開源 Mellum-2,12B 參數的代碼混合專家模型。為控推理成本,每 token 僅激活約25億參數,權重已在 Hugging Face 發布,Apache 2.0。新增多 token 預測(MTP)模塊,推理時 MTP 頭作為草稿模型加速採樣。提供基礎、對話、思考三版,思考版可在輸出前展示顯式思維鏈。基準:Humaneval 41.46%,MMLU 70.87%。
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 打賞
  • 回覆
  • 轉發
  • 分享
回覆
請輸入回覆內容
請輸入回覆內容
暫無回覆