美团が兆パラメータ大規模モデルLongCat-2.0をオープンソース化、国産計算力での訓練難題を克服、故障率が7割低下、この技術の実力は注目に値する。

幣界網ニュース、本日、美団は正式に新一代兆パラメータ大規模モデルLongCat-2.0を発表し、外部にオープンソース化する。LongCat-2.0の事前学習データ規模は30兆トークンを超え、中国語、英語、多言語、コードなど多種のデータをカバーする。万GPU規模のトレーニングにおけるハードウェア障害、通信異常、メモリ圧力と数値変動に対し、LongCatチームは安定性、正確性、効率の三方面から国産算力トレーニングの課題を克服する。安定性では、hccl異常処理、弹性拡縮カード、自動障害復旧により、月間平均日故障率を70%以上削減正確性においては、自社開発の決定性演算子、bitwise一致性検証、パラメータ検出により、トレーニング結果の信頼性を保証し、同時に実践に基づき重要モジュールの計算精度を向上させ、reduceロジックを最適化する。