Les performances des données après la mise en open source de Kimi K3 hier soir montrent que tout le monde est désormais à bout de patience, au point de réclamer des modèles open source haute performance.
En une nuit, près de 2 900 téléchargements : compte tenu des exigences vraiment délirantes en matière de matériel pour ce modèle, la valeur de ces téléchargements est extrêmement élevée.
Après tout, le coût de démarrage de ce truc, c’est déjà des grappes de serveurs pour des dizaines de millions.
Moonshot (月之暗面) n’a pas cette fois-ci trituré la “pâte à dent” jusqu’au bout.
Une architecture MoE de 2,8 T, avec une densité intelligente améliorée de 2,5 fois par rapport à avant.
Cela signifie que le gain de performance ne vient pas d’un simple empilement de paramètres, mais d’optimisations d’efficacité au niveau de l’architecture.
Compréhension visuelle native + environ 1 M de contexte : cette configuration est essentiellement calibrée pour concurrencer les modèles fermés actuellement les plus puissants.
Le point le plus digne d’être discuté : ils ont open source la bibliothèque de communication MoE.
Tous ceux qui ont déjà joué avec des modèles de grande taille savent que, dans une architecture MoE, la partie la plus difficile à gérer, c’est l’efficacité de la communication entre plusieurs cartes.
Kimi a directement mordu dans cette brique, et l’a open source : à l’avenir, quand tout le monde voudra entraîner des modèles à gros paramètres, plus besoin de repartir de zéro pour bricoler à la main les frameworks de communication bas niveau.
Ce mouvement a directement réduit l’écart entre open source et closed source à moins de six mois.
Aujourd’hui, la situation devient vraiment intéressante :
Les modèles fermés tiennent le rempart grâce aux économies d’échelle et à l’avantage du premier arrivé, tandis que des forces open source comme K3 sont en train de démanteler leurs douves par une ouverture complète de la pile logicielle.
Cette ouverture n’est pas un geste symbolique : c’est une remise réelle du code et de la chaîne d’outils.
Pour les développeurs et les jeunes pousses, c’est un tournant.
Entre vos mains, vous avez enfin une épée lourde que vous pouvez substituer, voire dépasser, certains API de modèles fermés : certes, c’est une épée très lourde, qui exige de la puissance de calcul coûteuse pour la manier… mais au moins, elle est maintenant entre vos mains.
En une nuit, près de 2 900 téléchargements : compte tenu des exigences vraiment délirantes en matière de matériel pour ce modèle, la valeur de ces téléchargements est extrêmement élevée.
Après tout, le coût de démarrage de ce truc, c’est déjà des grappes de serveurs pour des dizaines de millions.
Moonshot (月之暗面) n’a pas cette fois-ci trituré la “pâte à dent” jusqu’au bout.
Une architecture MoE de 2,8 T, avec une densité intelligente améliorée de 2,5 fois par rapport à avant.
Cela signifie que le gain de performance ne vient pas d’un simple empilement de paramètres, mais d’optimisations d’efficacité au niveau de l’architecture.
Compréhension visuelle native + environ 1 M de contexte : cette configuration est essentiellement calibrée pour concurrencer les modèles fermés actuellement les plus puissants.
Le point le plus digne d’être discuté : ils ont open source la bibliothèque de communication MoE.
Tous ceux qui ont déjà joué avec des modèles de grande taille savent que, dans une architecture MoE, la partie la plus difficile à gérer, c’est l’efficacité de la communication entre plusieurs cartes.
Kimi a directement mordu dans cette brique, et l’a open source : à l’avenir, quand tout le monde voudra entraîner des modèles à gros paramètres, plus besoin de repartir de zéro pour bricoler à la main les frameworks de communication bas niveau.
Ce mouvement a directement réduit l’écart entre open source et closed source à moins de six mois.
Aujourd’hui, la situation devient vraiment intéressante :
Les modèles fermés tiennent le rempart grâce aux économies d’échelle et à l’avantage du premier arrivé, tandis que des forces open source comme K3 sont en train de démanteler leurs douves par une ouverture complète de la pile logicielle.
Cette ouverture n’est pas un geste symbolique : c’est une remise réelle du code et de la chaîne d’outils.
Pour les développeurs et les jeunes pousses, c’est un tournant.
Entre vos mains, vous avez enfin une épée lourde que vous pouvez substituer, voire dépasser, certains API de modèles fermés : certes, c’est une épée très lourde, qui exige de la puissance de calcul coûteuse pour la manier… mais au moins, elle est maintenant entre vos mains.
