Meituan open source le modèle géant à mille milliards de paramètres LongCat-2.0, le défi de l'entraînement sur la puissance de calcul nationale a été surmonté, le taux de panne a diminué de 70 %, cette vague de force technique mérite l'attention.

Nouvelle de CoinWorld : Aujourd'hui, Meituan a officiellement publié le nouveau modèle de langage LongCat-2.0 avec des billions de paramètres, qui sera open source.
Les données de pré-entraînement de LongCat-2.0 dépassent 30 t tokens, couvrant plusieurs types de données comme le chinois, l'anglais, les langues multiples et le code.
Face aux pannes matérielles, aux anomalies de communication, à la pression de la mémoire vidéo et aux fluctuations numériques lors de l'entraînement à l'échelle de dizaines de milliers de cartes, l'équipe LongCat a surmonté les difficultés d'entraînement sur les puces nationales sous trois aspects : stabilité, exactitude et efficacité.
En termes de stabilité, grâce à la gestion des exceptions hccl, à l'expansion et à la réduction élastiques des cartes et à la récupération automatique des pannes, le taux de pannes mensuel moyen quotidien a été réduit de plus de 70 %.
En termes d'exactitude, grâce à des opérateurs déterministes conçus en interne, à une vérification de cohérence bitwise et à une détection des paramètres, la fiabilité des résultats d'entraînement est garantie, tout en améliorant la précision de calcul des modules clés et en optimisant la logique reduce sur la base de la pratique.