Abrir manualmente é um pouco trabalhoso, mas a latência economizada é realmente agradável

Notícias do site Coinjie, o modelo de rascunho começa a sair de cena, a capacidade de decodificação preditiva multi-token (mtp) começa a ser aplicada na inferência local na interface principal. A abordagem do mtp é adicionar algumas cabeças de previsão leves ao modelo principal, permitindo que o modelo adivinhe antecipadamente os tokens seguintes e os verifique por conta própria. O modelo upstream já fornece ações, o relatório técnico do deepseek-v3 incorpora o mtp na meta de treinamento, indicando que esse módulo pode ser usado diretamente para acelerar a inferência. Os frameworks e ferramentas de inferência downstream também começam a se adaptar, incluindo llama.cpp, vllm e lm studio, sendo que os usuários precisam baixar modelos que suportem mtp e ativá-lo manualmente.