美團開源萬億參數大模型LongCat-2.0，國產算力訓練難題被啃下來了，故障率降七成，這波技術硬實力值得關注

幣界網消息，今天，美團正式發佈新一代萬億參數大模型LongCat-2.0，並將對外開源。LongCat-2.0預訓練數據規模超過30t tokens，覆蓋中文、英文、多語言和代碼等多類數據。面對萬卡級訓練中的硬件故障、通信異常、顯存壓力與數值波動，LongCat團隊從穩定性、正確性和效率三方面攻克國產算力訓練難題。在穩定性上，通過hccl異常處理、彈性擴縮卡和自動故障恢復，將月均日故障率降低70%以上在正確性上，通過自研設計確定性算子、bitwise一致性驗證和參數檢測，保障訓練結果的可靠，同時基於實踐提升關鍵模塊計算精度、優化reduce邏輯。