Abrir manualmente é um pouco trabalhoso, mas a latência economizada é realmente satisfatória.

Notícias do Coinjie.com, o modelo de rascunho começa a sair de cena, a capacidade de decodificação preditiva de múltiplos tokens (mtp) começa a ser aplicada na inferência local na interface. A abordagem domtp é adicionar algumas cabeças de previsão leves ao modelo principal, permitindo que o modelo adivinhe antecipadamente os tokens subsequentes e os verifique por conta própria. O modelo upstream já fornece ações, o relatório técnico do deepseek-v3 incorpora omtp na meta de treinamento, indicando que esse módulo pode ser usado diretamente para aceleração de inferência. Estruturas e ferramentas de inferência downstream também começam a se adaptar, incluindo llama.cpp, vllm e lm studio, sendo necessário que o usuário baixe modelos compatíveis com omtp e ative manualmente.