JetBrains esta rodada de código aberto é realmente sólida, o modelo de 12B ativou apenas 2.5B, controlando os custos ao máximo, o rascunho do MTP também é um pouco interessante

JetBrains código aberto Mellum-2, um modelo especialista híbrido de 12 bilhões de parâmetros. Para controlar o custo de inferência, apenas cerca de 2,5 bilhões de parâmetros são ativados por token, os pesos já foram publicados no Hugging Face, Apache 2.0. Novo módulo de previsão de múltiplos tokens (MTP), durante a inferência, a cabeça MTP atua como um modelo de rascunho para acelerar a amostragem. Disponível em três versões: básico, diálogo e reflexão, sendo a versão reflexão capaz de exibir explicitamente a cadeia de raciocínio antes da saída. Benchmark: Humaneval 41,46%, MMLU 70,87%.