Xiaomi dévoile les détails de l'entraînement du modèle MiMo-V2-Pro de 1T : utilisation de milliers de cartes, sans grade ni date limite.

ME News nouvelles, le 24 avril (UTC+8), selon la surveillance de 动察 Beating, Luo Fuli, responsable de l'équipe de grands modèles de Xiaomi, a divulgué lors de sa première interview approfondie que le modèle de base MiMo-V2-Pro compte un total de 1T de paramètres, et que l'entraînement a utilisé des milliers de GPU.

Elle estime que l'échelle de 1T est actuellement le seuil minimal pour atteindre un niveau proche de Claude Opus 4.6 et obtenir le ticket d'entrée pour la prochaine phase de concurrence des agents.

Sur le plan technique, la version Pro porte le rapport entre l'attention globale et l'attention à fenêtre glissante à un ratio de parcimonie extrême de 7:1, contrôlant ainsi le coût d'inférence des textes longs tout en augmentant le nombre de paramètres, et conserve l'architecture MTP (prédiction multi-tokens) pour utiliser la puissance de calcul excédentaire afin d'accélérer l'inférence.

Sur le plan managérial, dans l'équipe MiMo de cent personnes, seulement trente à quarante personnes sont directement impliquées dans les itérations principales. L'équipe n'a pas de grades, ni de divisions de groupes claires, ni de délais de livraison. Lorsqu'ils rencontrent des problèmes numériques instables comme des sauts de perte d'entraînement, l'équipe choisit d'arrêter directement l'entraînement pour enquêter, même si cela signifie un arrêt d'une à deux semaines et un coût de calcul de plusieurs millions.

(Source : BlockBeats)