美团开源万亿参数大模型LongCat-2.0，国产算力训练难题被啃下来了，故障率降七成，这波技术硬实力值得关注

, hoje, o Meituan lançou oficialmente o novo modelo de grande escala com biliões de parâmetros LongCat-2.0 e irá torná-lo open-source. Os dados de pré-treino do LongCat-2.0 excedem 30t tokens, cobrindo diversos tipos de dados como chinês, inglês, multilíngue e código. Face aos problemas de falhas de hardware, anomalias de comunicação, pressão de memória e flutuações numéricas durante o treino com milhares de GPUs, a equipa do LongCat abordou os desafios de treino com infraestrutura de computação doméstica através de três aspetos: estabilidade, correção e eficiência. Em termos de estabilidade, através do tratamento de anomalias hccl, escalonamento elástico de GPUs e recuperação automática de falhas, a taxa diária de falhas mensal foi reduzida em mais de 70%. Em termos de correção, através de operadores determinísticos desenvolvidos internamente, verificação de consistência bitwise e deteção de parâmetros, garante-se a fiabilidade dos resultados de treino, ao mesmo tempo que se melhora a precisão computacional de módulos chave e se otimiza a lógica de reduce com base na prática.