LongCat-2.0 se ha lanzado como código abierto, con 30T tokens de preentrenamiento y un plan de estabilidad de entrenamiento a nivel de 10,000 tarjetas completamente divulgado. La infraestructura de modelos grandes nacionales ha dado otro paso adelante.

Noticias de CoinWorld, hoy, Meituan lanzó oficialmente el nuevo modelo de gran tamaño con billones de parámetros LongCat-2.0, y lo hará de código abierto. LongCat-2.0 tiene un volumen de datos de preentrenamiento que supera los 30t tokens, cubriendo múltiples tipos de datos como chino, inglés, multilingüe y código. Ante fallos de hardware, anomalías de comunicación, presión de memoria y fluctuaciones numéricas en el entrenamiento a nivel de miles de tarjetas, el equipo de LongCat abordó los desafíos del entrenamiento con capacidad de cómputo nacional desde tres aspectos: estabilidad, corrección y eficiencia. En términos de estabilidad, mediante el manejo de excepciones de hccl, escalado elástico de tarjetas y recuperación automática de fallos, redujeron la tasa de fallos diaria promedio mensual en más del 70% en términos de corrección, mediante el diseño propio de operadores deterministas, verificación de consistencia bitwise y detección de parámetros, garantizan la fiabilidad de los resultados de entrenamiento, al mismo tiempo que mejoran la precisión de cálculo de módulos clave y optimizan la lógica de reducción basándose en la práctica.