LongCat-2.0 est open source, la préformation de 30T tokens, le plan de stabilité d'entraînement à l'échelle de 10 000 GPU entièrement divulgué, l'infrastructure des grands modèles chinois a fait un pas de plus.

Nouvelle de CoinWorld : Aujourd'hui, Meituan a officiellement publié le nouveau modèle de langage LongCat-2.0 avec des billions de paramètres, qui sera open source.
Les données de pré-entraînement de LongCat-2.0 dépassent 30 t tokens, couvrant plusieurs types de données comme le chinois, l'anglais, les langues multiples et le code.
Face aux pannes matérielles, aux anomalies de communication, à la pression de la mémoire vidéo et aux fluctuations numériques lors de l'entraînement à l'échelle de dizaines de milliers de cartes, l'équipe LongCat a surmonté les difficultés d'entraînement sur les puces nationales sous trois aspects : stabilité, exactitude et efficacité.
En termes de stabilité, grâce à la gestion des exceptions hccl, à l'expansion et à la réduction élastiques des cartes et à la récupération automatique des pannes, le taux de pannes mensuel moyen quotidien a été réduit de plus de 70 %.
En termes d'exactitude, grâce à des opérateurs déterministes conçus en interne, à une vérification de cohérence bitwise et à une détection des paramètres, la fiabilité des résultats d'entraînement est garantie, tout en améliorant la précision de calcul des modules clés et en optimisant la logique reduce sur la base de la pratique.