Solo 2,8 billones de parámetros es el comienzo: Kimi K3 está llevando la competencia de modelos grandes hacia el “IA fabrica IA”

作者：Climber，CryptoPulse Labs

16 de julio, Moonwell (Luna Dark) lanzó oficialmente el nuevo modelo de código abierto de próxima generación Kimi K3. El modelo cuenta con 2,8 billones de parámetros, una ventana de contexto de 1 millón de Token, soporte nativo para comprensión visual y utiliza tecnologías como Kimi Delta Attention y Attention Residuals.

Este es el primer modelo de código abierto del mundo en la escala de los 30 billones. Aunque el rendimiento general de Kimi K3 todavía está por detrás de los modelos cerrados más potentes como Claude Fable 5 y GPT-5.6 Sol, en varias evaluaciones ha mostrado un nivel a la vanguardia, y Moonwell afirma que su rendimiento general es estable por encima del de otros modelos de prueba.

Lo que es aún más digno de atención es que Kimi K3 también completó de forma autónoma el diseño de un chip. Un modelo grande que empieza a intentar diseñar el hardware que se necesita para ejecutar IA; tal vez eso sea más digno de atención que los propios 2,8 billones de parámetros.

1. Detrás de 2,8 billones de parámetros: la competencia de modelos grandes pasa de la escala a la eficiencia

En los últimos años, el indicador que más fácilmente se entiende en la industria de los modelos grandes es la cantidad de parámetros. De decenas de miles de millones a billones, y luego a los billones, la escala de parámetros casi se ha convertido en un símbolo importante para medir el rendimiento del modelo.

Pero cuando la escala del modelo llega a 2,8 billones de parámetros, el problema real ya no es “qué tan grande es el modelo”, sino: ¿cómo entrenar un modelo tan enorme? ¿Cuántos parámetros participan en el cálculo en cada tarea? ¿Cómo lograr que el modelo tenga capacidades más fuertes, mientras se controla el costo de operación?

La respuesta que ofrece Kimi K3 es ampliar aún más una arquitectura dispersa.

Según la información de Moonwell, Kimi K3 utiliza Mixture of Experts, es decir, una arquitectura de mezcla de expertos. El modelo tiene 896 módulos de expertos, pero en cada tarea solo se activan 16 expertos.

Esto significa que el modelo puede tener una gran capacidad de conocimiento, pero no necesita invocar todos los parámetros cada vez. Es como una superinstitución con 896 departamentos especializados: ante problemas distintos, solo necesita movilizar esos 16 departamentos más relevantes.

El valor central de esta arquitectura es que la escala total del modelo y el costo de cómputo en una sola ejecución pueden separarse.

En el futuro, la competencia de los modelos grandes no necesariamente será cuestión de quién tiene más parámetros, sino de quién puede lograr que más parámetros se utilicen de manera efectiva con un costo menor.

Otra innovación clave de Kimi K3 es Kimi Delta Attention, es decir, KDA. En la arquitectura tradicional de Transformer, al procesar textos extremadamente largos, el volumen de cómputo y la presión de memoria aumentan de forma evidente. El objetivo de KDA es mejorar la eficiencia con la que el modelo procesa información de secuencias largas.

Al mismo tiempo, Kimi K3 introduce Attention Residuals, o mecanismo de residuo de atención. Los modelos tradicionales suelen transmitir información gradualmente por capas: la información se va acumulando hacia las capas posteriores, pero también puede haber redundancia y atenuación.

Attention Residuals intenta permitir que el modelo “salte” entre distintas profundidades y llame de forma selectiva a información de etapas más tempranas.

Si el flujo de información de los modelos tradicionales es como un río que va desde un punto de partida hacia el final, entonces Attention Residuals se parece más a construir un sistema de recuperación de información a lo largo del camino: el modelo puede volver a invocar información de diferentes profundidades según la tarea.

Moonwell afirma que, en comparación con Kimi K2, Kimi K3 logra una mejora de la eficiencia de escalamiento general de aproximadamente 2,5 veces.

Esto indica que la industria de la IA se está moviendo de “cuanto más grande, mejor” hacia “cómo convertir una escala mayor en una eficiencia más alta”.

El significado de Kimi K3 no es solo lanzar un modelo de 2,8 billones de parámetros, sino además elevar aún más el límite de escala de los modelos de código abierto.

Antes, los modelos de código abierto se veían más como seguidores que intentaban ponerse al día con los modelos cerrados. Hoy, los modelos de código abierto comienzan a intentar demostrar que incluso los modelos de escala ultra grande pueden hacerse públicos, investigarse y desarrollarse de nuevo.

2. De chatbot a empleado digital: lo que Kimi K3 apunta son tareas complejas

Si bien 2,8 billones de parámetros es la etiqueta más fácil de difundir de Kimi K3, su dirección de producto real es el trabajo de largo alcance.

En el pasado, la mayoría del tiempo, los asistentes de IA estaban orientados a responder preguntas: el usuario planteaba una pregunta y el modelo entregaba una respuesta. Si se le pedía escribir código, devolvía código. Si se le pedía resumir un artículo, generaba un resumen.

Pero en el mundo real, el trabajo complejo muchas veces no se puede completar con una sola ronda de pregunta y respuesta.

Un investigador quizá necesite leer artículos, organizar datos, construir modelos, ejecutar experimentos, analizar resultados y luego redactar un informe. Un programador puede necesitar leer una gran cantidad de archivos, comprender la estructura del proyecto, modificar el código para ejecutar pruebas, localizar errores y luego iterar de manera continua.

Estas tareas comparten características: ciclos largos, muchos pasos, gran cantidad de información; y además, se necesita ajustar continuamente el siguiente paso con base en los resultados intermedios, que es precisamente lo que Kimi K3 intenta resolver.

En un caso que muestra Moonwell, Kimi K3 completó una tarea de investigación de física de cuerpos celestes. Tras leer y validar de forma cruzada más de 20 artículos, realizó cálculos numéricos, evaluó cientos de ecuaciones de estado, detectó inconsistencias en fórmulas publicadas y generó más de 3000 líneas de código Python y un tablero HTML interactivo.

La entidad oficial afirma que esta tarea tomó alrededor de dos horas; en circunstancias tradicionales, podría requerir una a dos semanas de trabajo por parte de investigadores experimentados.

Esto no significa que la IA ya pueda reemplazar a los investigadores; en la investigación, la parte más importante suele ser proponer preguntas, juzgar hipótesis e interpretar resultados.

Pero Kimi K3 muestra un cambio importante: la IA está pasando de ayudar a los humanos a completar un paso, a completar gradualmente un flujo de trabajo completo de forma autónoma. Esa es la diferencia entre la era de los Agent y la era de los chatbots tradicionales.

Los chatbots tradicionales resuelven “qué me preguntas y yo respondo”. Los Agent resuelven “tú me das el objetivo, yo descompongo la tarea, llamo herramientas, ejecuto pasos, reviso resultados y los corrijo de forma continua”.

La ventana de contexto de 1 millón de Token de Kimi K3 es fundamental en este proceso.

Para grandes repositorios de código, informes de investigación, material empresarial y documentación de proyectos complejos, que el modelo pueda comprender más información de una sola vez significa que no necesita olvidar con frecuencia el contexto, ni que el usuario tenga que repetir continuamente el trasfondo.

Además, Kimi K3 tiene soporte nativo para comprensión visual, lo que permite a la IA cerrar un ciclo de trabajo más completo.

Por ejemplo, después de que la IA escribe código, puede revisar el resultado al ejecutarlo en una página web; después de que la IA crea un PPT, puede comprobar el diseño de la página; después de que la IA genera contenido, también puede juzgar el resultado mediante retroalimentación visual.

Antes, la IA era como escribir código con los ojos cerrados; en el futuro, la IA podrá formar un ciclo: comprender la tarea, generar resultados, observarlos, detectar problemas y modificar los resultados.

Moonwell también amplía las capacidades de Kimi a escenarios como Kimi Work, Kimi Code y Kimi API, dirigidos respectivamente a investigación, documentos, diapositivas, tablas, tableros y tareas de programación complejas.

En el futuro, la IA con verdadero valor comercial quizá ya no sea el modelo que responde más preguntas, sino el que puede completar más trabajo.

El software tradicional obliga a los usuarios a aprender flujos de operación complejos. El objetivo de los AI Agent es conectar búsqueda, bases de datos, programación, análisis de datos y herramientas de oficina, de modo que el usuario solo tenga que describir el objetivo final.

Esto implica que la competencia futura de la industria del software quizá ya no trate de quién tiene más herramientas, sino de quién tiene un sistema de ejecución de IA más fuerte.

3. Lo más digno de atención no es el modelo, sino que la IA empieza a diseñar chips

La parte más impactante de Kimi K3 probablemente sea que completó el diseño de un chip de manera autónoma.

Según la información divulgada por Moonwell, en una ejecución autónoma de 48 horas, Kimi K3 utilizó herramientas EDA de código abierto y una librería de proceso Nangate de 45nm para completar el diseño, optimización y verificación de un chip para un modelo pequeño orientado a su propia arquitectura.

Esto no significa que Kimi K3 ya pueda completar de forma independiente la producción comercial en masa de chips modernos de proceso avanzado de IA. La tecnología de 45nm todavía está muy lejos de los aceleradores de IA más avanzados de hoy; además, desde el diseño hasta la producción en masa, el chip involucra sistemas complejos de IP, proceso, fabricación, empaque y cadena de suministro.

Pero este intento sigue siendo importante, porque diseñar chips no es simplemente escribir código; requiere gestionar múltiples etapas como diseño lógico, síntesis, colocación y ruteo, análisis de temporización, optimización de consumo y verificación física.

En el pasado, en la industria de chips, la IA asistía principalmente a ingenieros para tareas parciales, por ejemplo optimizar colocación, predecir temporización y detectar fallas de diseño.

Y Kimi K3 muestra otra posibilidad: que la IA ya no solo use herramientas, sino que empiece a organizar de manera autónoma herramientas para completar un flujo de ingeniería completo.

Esto es muy similar a la trayectoria del desarrollo de IA para escribir código. Al inicio, la IA solo podía generar un pequeño fragmento de código; luego pudo escribir programas completos; más tarde pudo leer el repositorio de código, ejecutar pruebas y corregir Bugs. Hoy, la IA empieza a intentar diseñar el hardware necesario para ejecutar IA.

Esto podría formar un nuevo ciclo de auto-mejora impulsado por IA: la IA ayuda a diseñar chips más fuertes, esos chips entrenan modelos más fuertes y los modelos aún más fuertes ayudan a diseñar la siguiente generación de chips.

Lo que es aún más relevante es que Kimi K3 también demostró la capacidad de desarrollar de forma autónoma un sistema de programación de GPU.

Moonwell divulga que Kimi K3 desarrolló MiniTriton, un sistema compacto de compilador similar a Triton, que incluye su propia capa de representación intermedia, un flujo de optimización y un flujo de generación de código PTX.

Esto indica que los límites de las capacidades de la IA se están ampliando: ya no se trata solo de usar software, sino también de crear herramientas de software.

En el futuro, el propio modelo podría participar directamente en la optimización de chips, el desarrollo de compiladores, la adaptación de operadores y la sintonización del sistema; este podría ser el valor estratégico más importante de Kimi K3.

No es solo un producto de modelo; está explorando un modo de I+D nativo de IA. De modelo a compilador, de algoritmo a chip, de datos a aplicaciones: la IA se convierte gradualmente en una parte de la infraestructura base.

Por supuesto, los chips diseñados de forma autónoma por IA todavía requieren verificación estricta, y los resultados científicos generados por IA también deben ser revisados por profesionales; y cuando la IA ejecuta tareas complejas por sí sola, también pueden aparecer errores.

Pero Kimi K3 ya ha emitido una señal importante: la IA está pasando de ser un objeto creado, a convertirse gradualmente en el agente que participa en crear la próxima generación de IA.

Conclusión

El lanzamiento de Kimi K3, en apariencia, es una actualización de modelo; pero en el trasfondo representa un cambio en la lógica competitiva de los modelos grandes.

De una escala mayor de parámetros, a una arquitectura más eficiente. De responder preguntas, a completar trabajos complejos; y luego a desarrollar compiladores de forma autónoma, diseñar chips: la IA está participando cada vez más en la creación de la próxima generación de IA.

Es posible que 2,8 billones de parámetros sea solo una cifra; lo verdaderamente digno de atención es que la IA empieza a intentar diseñar su propio futuro.