JetBrains esta ola de código abierto es muy concreta, el modelo de 12B solo activa 2.5B, controlando los costos de manera estricta, la aceleración del borrador de MTP también es bastante interesante

JetBrains open source Mellum-2, un modelo experto en código híbrido de 12B de parámetros. Para controlar el coste de inferencia, solo aproximadamente 2.5 mil millones de parámetros se activan por token, los pesos ya están publicados en Hugging Face, Apache 2.0. Se ha añadido un módulo de predicción de múltiples tokens (MTP), durante la inferencia, la cabecera MTP actúa como un modelo preliminar para acelerar el muestreo. Ofrece versiones básica, de diálogo y de reflexión, la versión de reflexión puede mostrar explícitamente la cadena de pensamiento antes de la salida. Benchmark: Humaneval 41.46%, MMLU 70.87%.