MiniMax a directement grimpé à 2,7 billions de paramètres. Si le modèle est vraiment open-source, le paysage des grands modèles nationaux va changer du tout au tout.

币界网 annonce que MiniMax développe un modèle de langage à 2,7 billions de paramètres, dont la sortie est possible au troisième trimestre, avec un projet d'open source. Le nom de code interne du modèle est m3 pro, mais le nom final n'est pas encore déterminé. Si les poids sont ouverts comme prévu, ce modèle pourrait devenir le plus grand open source au monde en termes de nombre de paramètres. Le modèle phare actuel de MiniMax, m3, compte 428 milliards de paramètres ; le nouveau modèle est environ 6,3 fois plus grand et dépassera également plusieurs modèles open source existants de l'ordre du billion. Une plus grande échelle de paramètres est généralement bénéfique pour le raisonnement complexe et les tâches multi-étapes, mais les performances finales dépendront de la qualité de l'entraînement, des paramètres activés, du coût d'inférence et des résultats d'évaluation.