Abrir manualmente es un poco molesto, pero la latencia que ahorras es realmente atractiva.

La noticia de CoinWorld indica que el modelo de borrador comienza a retirarse, y la capacidad de decodificación predictiva de múltiples tokens (mtp, por sus siglas en inglés) empieza a aplicarse en inferencias locales en la interfaz principal.
El método demtp consiste en agregar varias cabezas de predicción ligeras en el modelo principal, permitiendo que el modelo adivine anticipadamente los tokens siguientes y los verifique por sí mismo.
El modelo superior ya ha proporcionado las acciones, y el informe técnico de deepseek-v3 incorporamtp en el objetivo de entrenamiento, lo que indica que este módulo puede usarse directamente para acelerar la inferencia.
Los marcos y herramientas de inferencia en la parte inferior también comienzan a adaptarse, incluyendo llama.cpp, vllm y lm studio, entre otros, los usuarios deben descargar modelos que soportenmtp y activarlos manualmente.