Mengaktifkannya secara manual agak merepotkan, tetapi latensi yang dihemat benar-benar memuaskan

Berita dari Coinjie Wang, model draft mulai mundur, kemampuan prediksi multi-token (mtp) mulai diterapkan dalam inferensi lokal di antarmuka pengguna. Pendekatanmtp menambahkan beberapa kepala prediksi ringan ke dalam model utama, memungkinkan model menebak token berikutnya sebelumnya dan memverifikasi sendiri. Model hulu telah memberikan aksi, laporan teknologi deepseek-v3 memasukkanmtp ke dalam tujuan pelatihan, menunjukkan bahwa modul ini dapat langsung digunakan untuk percepatan inferensi. Kerangka kerja dan alat inferensi hilir juga mulai menyesuaikan, termasuk llama.cpp, vllm, dan lm studio, pengguna perlu mengunduh model yang mendukungmtp dan mengaktifkannya secara manual.