L'activation manuelle est un peu gênante, mais la latence économisée est vraiment agréable

Le message de Coinjie.com indique que le modèle de brouillon commence à se retirer, la capacité de décodage prédictif multi-token (mtp) commence à être utilisée pour l'inférence locale en front-end. La méthodemtp consiste à ajouter plusieurs têtes de prédiction légères dans le modèle principal, permettant au modèle de deviner à l'avance les tokens suivants et de les vérifier lui-même. Le modèle en amont a déjà fourni des actions, le rapport technique deepseek-v3 intègremtp dans l'objectif d'entraînement, ce qui indique que ce module peut être utilisé directement pour accélérer l'inférence. Les frameworks et outils d'inférence en aval commencent également à s'adapter, notamment llama.cpp, vllm et lm studio, les utilisateurs doivent télécharger des modèles supportantmtp et l'activer manuellement.