Ручне увімкнення трохи незручно, але зекономлена затримка дійсно приємна

Звіт з Coinjie.com, модель чернетки починає виходити з ужитку, здатність декодування з передбаченням кількох токенів (mtp, multi-token prediction) починає застосовуватися для локального передбачення на фронтенді. Методmtp полягає у додаванні кількох легких прогнозних голів у основну модель, що дозволяє їй заздалегідь вгадувати наступні токени та самостійно їх перевіряти. Верхня модель вже надає дії, технічний звіт deepseek-v3 включаєmtp у ціль навчання, що свідчить про можливість безпосереднього використання цього модуля для прискорення передбачення. Нижні фреймворки та інструменти для передбачення також починають адаптуватися, включаючи llama.cpp, vllm та lm studio, користувачам потрібно завантажити модель з підтримкоюmtp та вручну активувати її.