Meituan abriu o código do modelo grande LongCat-2.0 com trilhões de parâmetros, o problema de treinamento com poder computacional doméstico foi resolvido, a taxa de falhas caiu 70%, essa onda de força técnica real merece atenção.

Notícias do CoinWorld: hoje, a Meituan lançou oficialmente o modelo de grande porte de nova geração com trilhões de parâmetros, LongCat-2.0, e o tornará código aberto ao público. A escala de dados de pré-treinamento do LongCat-2.0 excede 30 trilhões de tokens, cobrindo chinês, inglês, multilíngue e código, entre outros tipos de dados. Diante de falhas de hardware, anomalias de comunicação, pressão de memória e flutuações numéricas no treinamento em escala de 10.000 placas, a equipe LongCat enfrentou os desafios de treinamento em poder computacional doméstico a partir de três aspectos: estabilidade, correção e eficiência. Em termos de estabilidade, através do tratamento de exceções hccl, dimensionamento elástico de placas e recuperação automática de falhas, reduziu a taxa média diária de falhas em mais de 70% em termos de correção, através de operadores determinísticos projetados internamente, verificação de consistência bitwise e detecção de parâmetros, garantindo a confiabilidade dos resultados de treinamento, ao mesmo tempo, com base na prática, melhorou a precisão computacional de módulos-chave e otimizou a lógica de redução (reduce).