Selon la surveillance de Dongcha Beating, Meituan a officiellement open sourcé le modèle à trillion de paramètres LongCat-2.0, qui compte au total 1,6 trillion de paramètres et une activation moyenne d'environ 48 milliards, spécialement conçu pour des tâches réelles de Agentic Coding. L'architecture introduit de manière innovante l'attention sparse LongCat et l'embedding N-gram ; la première réduit les accès mémoire fragmentés grâce à l'indexation par perception de fluidité et l'indexation hiérarchique, accélérant l'entraînement et l'inférence pour des contextes longs de millions de tokens. La seconde investit 135 milliards de paramètres dans la couche d'embedding tout en maintenant une sparsité de près de 97 % dans le MoE, équilibrant l'efficacité des paramètres et la stabilité structurelle. Le post-entraînement utilise une distillation en ligne multi-enseignants, catégorisant les experts en trois types : Agent, Inférence et Interaction, s'intégrant de manière transparente via l'architecture MOPD sur des clusters de calcul domestiques. En tant que premier modèle à trillion de paramètres à avoir achevé une inférence sur un cluster de calcul domestique de 50 000 cartes, LongCat-2.0 valide la capacité mature des puces domestiques à gérer des tâches complexes de grands modèles. Pour répondre aux multiples limitations des puces domestiques en termes de mémoire, bande passante et interconnexion, Meituan a réalisé des percées dans trois domaines : modèle, adaptation de puce et déploiement. Au niveau du modèle, ScMoE utilise les capacités de contrôle central des puces domestiques pour réaliser un parallélisme au niveau des cœurs physiques entre les branches Dense et MoE, combiné à la segmentation KV-cache pour atténuer la pression mémoire des contextes ultra-longs. Au niveau de l'adaptation de puce, Super Kernel réduit la surcharge de lancement des opérateurs, et Weight Prefetch masque la latence d'E/S, maximisant l'utilisation du matériel sous des contraintes. Au niveau du déploiement, la séparation PD équilibre TTFT et TPOT, ainsi qu'un équilibrage de charge asynchrone Expert-Parallel pour faire face aux charges inégales sous des degrés EP élevés. Cette version open source fournit également des versions multi-précision telles que BF16, FP8 et INT8, et vise à ouvrir complètement les résultats d'inférence optimisés pour la puissance de calcul domestique, visant un déploiement fluide des services d'inférence de modèles à trillion de paramètres même sur des cartes domestiques existantes et plus anciennes.

Voir l'original

Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.

Récompense
J'aime
Commentaire
Reposter
Partager

Commentaire

Ajouter un commentaire

Aucun commentaire

Sujets populaires
Afficher plus
#
GTBurns2.57MInQ
171,77K Popularité
#
PredictWorldCupShare20000U
261,25K Popularité
#
IsraelStrikesIranBTCPlunges
69,48K Popularité
#
VitalikUnveilsLeanEthereum
174,32K Popularité
#
gStocksTokenizedStocksLive
4,88M Popularité

Épinglé

Meituan publie en open source le modèle LongCat-2.0 à mille milliards de paramètres et publie le code d'inférence pour les puces chinoises domestiques.

Sujets populaires

GTBurns2.57MInQ

PredictWorldCupShare20000U

IsraelStrikesIranBTCPlunges

VitalikUnveilsLeanEthereum

gStocksTokenizedStocksLive

Épinglé