LongCat-2.0开源了，30T tokens预训练、万卡级训练稳定性方案全公开，国产大模型基建又往前拱了一步

币界网消息，今天，美团正式发布新一代万亿参数大模型LongCat-2.0，并将对外开源。LongCat-2.0预训练数据规模超过30t tokens，覆盖中文、英文、多语言和代码等多类数据。面对万卡级训练中的硬件故障、通信异常、显存压力与数值波动，LongCat团队从稳定性、正确性和效率三方面攻克国产算力训练难题。在稳定性上，通过hccl异常处理、弹性扩缩卡和自动故障恢复，将月均日故障率降低70%以上在正确性上，通过自研设计确定性算子、bitwise一致性验证和参数检测，保障训练结果的可靠，同时基于实践提升关键模块计算精度、优化reduce逻辑。