Según el monitoreo de Dongcha Beating, Meituan ha lanzado oficialmente como código abierto el modelo de billones de parámetros LongCat-2.0, que tiene un total de 1.6 billones de parámetros y una activación promedio de alrededor de 48 mil millones, diseñado específicamente para tareas reales de Agentic Coding. La arquitectura introduce de manera innovadora la atención dispersa LongCat y la incrustación N-gram; la primera reduce el acceso fragmentado a la memoria mediante la indexación de percepción de fluidez y la indexación jerárquica, acelerando el entrenamiento y la inferencia para contextos largos de millones de tokens. La segunda invierte 135 mil millones de parámetros en la capa de incrustación mientras mantiene una dispersión de casi el 97% en el MoE, equilibrando la eficiencia de parámetros y la estabilidad estructural. El post-entrenamiento emplea destilación en línea con múltiples maestros, categorizando a los expertos en tres tipos: Agente, Inferencia e Interacción, integrándose sin problemas a través de la arquitectura MOPD en clústeres de computación nacionales. Como el primer modelo de billones de parámetros en completar la inferencia en un clúster de computación nacional de 50,000 tarjetas, LongCat-2.0 valida la capacidad madura de los chips nacionales para manejar tareas complejas de modelos grandes. Para abordar las múltiples limitaciones de los chips nacionales en términos de memoria, ancho de banda e interconexión, Meituan ha logrado avances en tres áreas: modelo, adaptación de chips y despliegue. A nivel de modelo, ScMoE utiliza las capacidades de control central de los chips nacionales para lograr un paralelismo físico a nivel de núcleo entre las ramas Dense y MoE, combinado con la segmentación de KV-cache para aliviar la presión de memoria de contextos ultra largos. A nivel de adaptación de chips, Super Kernel reduce la sobrecarga de inicio de operadores, y Weight Prefetch oculta la latencia de E/S, maximizando la utilización del hardware en condiciones restringidas. A nivel de despliegue, la separación PD equilibra TTFT y TPOT, junto con un balance de carga asíncrono Expert-Parallel para abordar cargas desiguales bajo altos grados de EP. Este lanzamiento de código abierto también proporciona versiones de precisión múltiple como BF16, FP8 e INT8, y tiene como objetivo abrir completamente los resultados de inferencia optimizados para la potencia de cómputo nacional, apuntando a un despliegue fluido de servicios de inferencia de modelos de billones de parámetros incluso en tarjetas nacionales existentes y antiguas.

Ver original

Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.

Recompensa
Me gusta
Comentar
Republicar
Compartir

Comentar

Añadir un comentario

Sin comentarios

Temas de actualidad
Ver más
#
GTBurns2.57MInQ
169,42K Popularidad
#
PredictWorldCupShare20000U
262,47K Popularidad
#
IsraelStrikesIranBTCPlunges
69,38K Popularidad
#
VitalikUnveilsLeanEthereum
158,84K Popularidad
#
gStocksTokenizedStocksLive
4,87M Popularidad

Fijado

Meituan publica como código abierto el modelo de billón de parámetros LongCat-2.0, libera el código de inferencia para chips chinos domésticos.

Temas de actualidad

GTBurns2.57MInQ

PredictWorldCupShare20000U

IsraelStrikesIranBTCPlunges

VitalikUnveilsLeanEthereum

gStocksTokenizedStocksLive

Fijado