JetBrains このオープンソースは本当に実用的で、12Bモデルはわずか2.5Bだけを有効化し、コストを徹底的に抑えている。MTPの草稿加速もなかなか面白い。

原文表示
CoinNetwork
JetBrainsオープンソースのMellum-2コードモデル:内蔵されたMTPヘッドによる投機的デコード高速化
JetBrains オープンソースの Mellum-2、12B パラメータのコード混合専門モデル。推論コストを制御するために、各トークンは約25億パラメータのみを活性化し、重みは Hugging Face で公開済み、Apache 2.0。新たにマルチトークン予測(MTP)モジュールを追加し、推論時に MTP ヘッドをドラフトモデルとしてサンプリングを高速化。ベース、対話、思考の3バージョンを提供し、思考版は出力前に明示的な思考チェーンを表示可能。ベンチマーク:Humaneval 41.46%、MMLU 70.87%。
このページには第三者のコンテンツが含まれている場合があり、情報提供のみを目的としております(表明・保証をするものではありません)。Gateによる見解の支持や、金融・専門的な助言とみなされるべきものではありません。詳細については免責事項をご覧ください。
  • 報酬
  • コメント
  • リポスト
  • 共有
コメント
コメントを追加
コメントを追加
コメントなし