Meituan lanza el modelo de código abierto LongCat-2.0 con billones de parámetros, se ha resuelto el difícil problema del entrenamiento con potencia de cálculo nacional, la tasa de fallos se reduce en un 70%, esta ola de solidez técnica merece atención.

Noticias de CoinWorld, hoy, Meituan lanzó oficialmente el nuevo modelo de gran tamaño con billones de parámetros LongCat-2.0, y lo hará de código abierto. LongCat-2.0 tiene un volumen de datos de preentrenamiento que supera los 30t tokens, cubriendo múltiples tipos de datos como chino, inglés, multilingüe y código. Ante fallos de hardware, anomalías de comunicación, presión de memoria y fluctuaciones numéricas en el entrenamiento a nivel de miles de tarjetas, el equipo de LongCat abordó los desafíos del entrenamiento con capacidad de cómputo nacional desde tres aspectos: estabilidad, corrección y eficiencia. En términos de estabilidad, mediante el manejo de excepciones de hccl, escalado elástico de tarjetas y recuperación automática de fallos, redujeron la tasa de fallos diaria promedio mensual en más del 70% en términos de corrección, mediante el diseño propio de operadores deterministas, verificación de consistencia bitwise y detección de parámetros, garantizan la fiabilidad de los resultados de entrenamiento, al mismo tiempo que mejoran la precisión de cálculo de módulos clave y optimizan la lógica de reducción basándose en la práctica.