JetBrains cette vague d'open source est vraiment concrète, le modèle de 12 milliards n'active que 2,5 milliards, le coût est strictement contrôlé, l'accélération du brouillon MTP est aussi un peu intéressante

JetBrains open source Mellum-2, un modèle expert hybride de code avec 12 milliards de paramètres. Pour réduire le coût de l'inférence, seulement environ 2,5 milliards de paramètres sont activés par token, les poids ont été publiés sur Hugging Face, Apache 2.0. Ajout d'un module de prédiction multi-token (MTP), lors de l'inférence, la tête MTP sert de modèle brouillon pour accélérer l'échantillonnage. Propose trois versions : basique, dialogue, réflexion, la version réflexion peut afficher explicitement la chaîne de pensée avant la sortie. Références : Humaneval 41,46 %, MMLU 70,87 %.