Meituan LongCat-2.0 ouvre simultanément le code d'inférence pour cartes graphiques nationales.

robot
Création du résumé en cours
Jinse Finance rapporte, le 9 juillet, qu'en tant que premier modèle à un billion de paramètres à avoir effectué une inférence sur un cluster de calcul national de 50 000 cartes, LongCat-2.0 est complètement open-source. Pour les puces de calcul nationales à mémoire et bande passante limitées, nous avons effectué une optimisation collaborative approfondie de l'architecture du modèle, de l'adaptation des puces à la stratégie de déploiement, permettant au modèle à un billion de paramètres de fonctionner de manière stable et rapide sur les cartes existantes. L'open-source de LongCat-2.0 est une divulgation de chemin technique ainsi qu'une invitation à l'écosystème. Cette version open-source propose simultanément des versions multi-précision telles que BF16, FP8 et INT8, couvrant pleinement les besoins de déploiement de différentes plates-formes de calcul. En même temps, nous embrassons profondément la communauté open-source et open-sourceons simultanément les résultats d'inférence extrêmement optimisés pour le calcul national. Cela signifie que même sans la dernière puissance de calcul, on peut exécuter LongCat-2.0 de manière stable sur du matériel existant. Nous espérons, grâce à cette pile d'inférence prête à l'emploi, permettre à davantage de cartes nationales, y compris les anciennes cartes, de déployer facilement des services d'inférence pour les grands modèles à un billion de paramètres, et d'apporter une plus grande valeur dans les scénarios de productivité réels.
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
  • Récompense
  • Commentaire
  • Reposter
  • Partager
Commentaire
Ajouter un commentaire
Ajouter un commentaire
Aucun commentaire
  • Épinglé