手動で開始するのは少し面倒だけど、節約できるレイテンシーは本当に魅力的だ

仮想通貨界のニュースによると、草稿モデルは退場を開始し、mtp（マルチトークン予測、多トークン予測）の推測デコード能力はローカル推論のフロントエンドアプリケーションでの利用が始まっています。mtpの方法は、メインモデルにいくつかの軽量予測ヘッドを追加し、モデルが次のトークンを事前に推測し、自動的に検証することです。上流モデルはすでにアクションを提供しており、deepseek-v3の技術レポートではmtpを訓練目標に組み込んでおり、このモジュールは直接推論の高速化に利用できることを示しています。下流の推論フレームワークやツールも適応を開始しており、llama.cpp、vllm、lm studioなどが含まれます。ユーザーはmtpをサポートするモデルをダウンロードし、手動で有効化する必要があります。