Yang Zhilin en GTC 2026: Presentación de la hoja de ruta de Kimi y discusión sobre el "cuello de botella del escalado"

Noticias de Sina Tech, 18 de marzo por la mañana: en la conferencia GTC de Nvidia 2026, Yang Zhilin, fundador de Moon of Darkness Kimi, compartió que para impulsar una ruptura continua en los límites de la inteligencia de los grandes modelos, es necesario reconstruir los cimientos fundamentales como los optimizadores, los mecanismos de atención y las conexiones residuales.

Después de lanzar oficialmente Kimi K2.5 a finales de enero de este año, Yang Zhilin reveló por primera vez de manera sistemática la hoja de ruta tecnológica que respalda este modelo. resumió la lógica evolutiva de Kimi en tres dimensiones de resonancia: eficiencia de tokens, contexto largo y agrupamiento de agentes (Agent Swarms). En su opinión, el escalado actual ya no se trata solo de acumular recursos, sino de buscar efectos de escala en eficiencia computacional, memoria a largo plazo y colaboración automatizada simultáneamente. Si se multiplican estos tres beneficios tecnológicos, el modelo mostrará un nivel de inteligencia mucho más avanzado que el actual.

La reconstrucción tecnológica es el núcleo de esta charla. Yang Zhilin señaló que muchos de los estándares tecnológicos utilizados en la industria en realidad son productos de hace ocho o nueve años y están convirtiéndose en un cuello de botella para el escalado.

Desde 2014, el optimizador Adam ha sido considerado el estándar de la industria, pero en entrenamientos a gran escala, buscar alternativas más eficientes en tokens se ha convertido en tendencia. El equipo de Kimi verificó en experimentos el potencial significativo del optimizador Muon para mejorar la eficiencia en tokens, pero al escalarlo a modelos K2 con billones de parámetros, encontraron un problema de estabilidad causado por la explosión de logits, que hacía que el modelo divergiera. Para solucionar esto, desarrollaron y lanzaron como código abierto el optimizador MuonClip, que mediante iteraciones de Newton-Schulz y la integración del mecanismo QK-Clip, resolvió completamente el problema de explosión de logits y duplicó la eficiencia computacional en comparación con AdamW tradicional.

Respecto al mecanismo de atención completa (Full Attention), que nació en 2017, Yang Zhilin presentó Kimi Linear basado en la arquitectura KDA. Es una estructura híbrida de atención lineal que desafía la norma de que “todas las capas deben usar atención completa”. Al optimizar la gestión de almacenamiento recursivo, logró acelerar la decodificación en contextos ultra largos de 128K a incluso 1M, aumentando la velocidad en 5 a 6 veces, manteniendo un rendimiento excelente en diferentes escenarios de longitud.

Además, en relación con las conexiones residuales, que tienen una década de historia, Kimi introdujo la estrategia de Residuales de Atención (Attention Residuals), que reemplaza la suma fija tradicional por atención Softmax sobre las salidas de las capas anteriores. Esto resuelve el problema de que los estados ocultos crecen sin límite con la profundidad, diluyendo la contribución de las capas profundas, permitiendo que cada capa agregue información de manera selectiva según el contenido de entrada. Este trabajo llevó a reflexiones del cofundador de OpenAI, Karpathy, quien afirmó que todavía no entendemos completamente el trabajo pionero de Transformer “Attention is All You Need”. Elon Musk, fundador de xAI, también comentó que el trabajo de Kimi es impresionante.

En el ámbito de la investigación multimodal, Yang Zhilin compartió una observación importante: en el preentrenamiento conjunto de visión y texto, el aprendizaje reforzado visual (Vision RL) puede mejorar significativamente el rendimiento del texto. Los experimentos de ablación mostraron que, tras entrenar con Vision RL, el modelo mejoró aproximadamente un 2.1% en pruebas de referencia puramente textuales como MMLU-Pro y GPQA-Diamond. Esto indica que el refuerzo del razonamiento espacial y la lógica visual puede traducirse en capacidades cognitivas más profundas y generales.

Finalmente, Yang Zhilin profundizó en la expansión de los agrupamientos de agentes. Considera que la futura forma de inteligencia evolucionará de un solo agente a agrupamientos generados dinámicamente. El mecanismo Orchestrator introducido en Kimi K2.5 permite dividir tareas complejas y largas en decenas de subagentes que trabajan en paralelo. Para evitar que la dependencia de un solo punto cause colapsos en serie durante la colaboración, el equipo diseñó una nueva función de recompensa en aprendizaje por refuerzo paralelo, que incentiva al modelo a aprender realmente la descomposición de tareas y la ejecución en paralelo.

En su resumen, Yang Zhilin habló sobre el cambio en el paradigma de investigación en IA. Mencionó que hace diez años, los estudios se centraban más en publicar nuevas ideas, pero debido a limitaciones en recursos computacionales, era difícil validar esas ideas con experimentos a diferentes escalas. Ahora, con recursos adecuados y la “Escalera de Escalado (Scaling Ladder)”, los investigadores pueden realizar experimentos rigurosos a gran escala y obtener conclusiones más confiables y seguras. Esta es la razón por la cual Kimi puede extraer nuevos avances de tecnologías que parecen “antiguas”. Kimi continuará en la senda del código abierto, contribuyendo con innovaciones fundamentales como MuonClip, Kimi Linear y Attention Residuals a la comunidad, para construir modelos más potentes y promover la accesibilidad de la inteligencia artificial. (Wen Meng)