El desempeño de los datos tras la apertura de código de Kimi K3 anoche muestra que la gente ya está en el punto más álgido de sed por los modelos de código abierto de alto rendimiento.
En una noche, se acercó a las 2900 descargas; considerando los requisitos “de locos” en cuanto a hardware que exige este modelo, la calidad de esas descargas es altísima.
Al fin y al cabo, esto tiene un coste de arranque que es, literalmente, de un clúster de servidores de decenas de millones.
Moonshot (面) no exprimió el “tubo de pasta” esta vez.
Su arquitectura MoE de 2,8 T: la densidad de inteligencia se ha incrementado 2,5 veces respecto a antes.
Esto significa que no es que apilen parámetros para lograr mejoras de rendimiento, sino optimizaciones de eficiencia a nivel de arquitectura.
Comprensión visual nativa más 1 M de contexto; con esta configuración, básicamente va dirigida directamente al modelo cerrado más potente de hoy.
Lo más digno de debate es que hayan abierto el código de la librería de comunicación MoE.
Quien haya jugado con modelos grandes sabe que lo más difícil de la arquitectura MoE es la eficiencia de comunicación entre varias GPUs.
Kimi se comió esa “pieza de hueso” de frente y la liberó en abierto; a partir de ahora, cuando la gente construya modelos con parámetros gigantes, ya no tendrá que empezar de cero para ajustar desde la base el framework de comunicaciones.
Esta jugada reduce la brecha entre código abierto y cerrado a menos de medio año.
Ahora el panorama se vuelve muy interesante:
Los modelos cerrados defienden la ciudad con el efecto de escala y la ventaja de ser los primeros, mientras que fuerzas de código abierto como K3 están desmantelando el foso del otro mediante la apertura integral.
Esta apertura no es postureo: es entregar de verdad el código y la cadena de herramientas.
Para desarrolladores y equipos de startups, esto es un punto de inflexión.
Por fin tienes a mano una espada pesada con la que puedes sustituir e incluso superar parte de las API de código cerrado; aunque esa espada es pesada y requiere cómputo caro para agitarla, al menos ahora está en tus manos.
En una noche, se acercó a las 2900 descargas; considerando los requisitos “de locos” en cuanto a hardware que exige este modelo, la calidad de esas descargas es altísima.
Al fin y al cabo, esto tiene un coste de arranque que es, literalmente, de un clúster de servidores de decenas de millones.
Moonshot (面) no exprimió el “tubo de pasta” esta vez.
Su arquitectura MoE de 2,8 T: la densidad de inteligencia se ha incrementado 2,5 veces respecto a antes.
Esto significa que no es que apilen parámetros para lograr mejoras de rendimiento, sino optimizaciones de eficiencia a nivel de arquitectura.
Comprensión visual nativa más 1 M de contexto; con esta configuración, básicamente va dirigida directamente al modelo cerrado más potente de hoy.
Lo más digno de debate es que hayan abierto el código de la librería de comunicación MoE.
Quien haya jugado con modelos grandes sabe que lo más difícil de la arquitectura MoE es la eficiencia de comunicación entre varias GPUs.
Kimi se comió esa “pieza de hueso” de frente y la liberó en abierto; a partir de ahora, cuando la gente construya modelos con parámetros gigantes, ya no tendrá que empezar de cero para ajustar desde la base el framework de comunicaciones.
Esta jugada reduce la brecha entre código abierto y cerrado a menos de medio año.
Ahora el panorama se vuelve muy interesante:
Los modelos cerrados defienden la ciudad con el efecto de escala y la ventaja de ser los primeros, mientras que fuerzas de código abierto como K3 están desmantelando el foso del otro mediante la apertura integral.
Esta apertura no es postureo: es entregar de verdad el código y la cadena de herramientas.
Para desarrolladores y equipos de startups, esto es un punto de inflexión.
Por fin tienes a mano una espada pesada con la que puedes sustituir e incluso superar parte de las API de código cerrado; aunque esa espada es pesada y requiere cómputo caro para agitarla, al menos ahora está en tus manos.
