2,8 billions de paramètres ne fait que commencer : Kimi K3 propulse la course aux grands modèles vers le « IA qui fabrique de l’IA »

Auteur : Climber, CryptoPulse Labs

Le 16 juillet, Miroir Noir a officiellement lancé le nouveau modèle open source de génération Kimi K3. Le modèle dispose de 2,8 billions de paramètres, d’une fenêtre de contexte de 1 million de tokens, prend nativement en charge la compréhension visuelle et s’appuie sur des techniques telles que Kimi Delta Attention et Attention Residuals.

Il s’agit du premier modèle open source de niveau 3 billions au monde. Même si, dans l’ensemble, Kimi K3 affiche encore un niveau inférieur à certains des modèles fermés les plus puissants comme Claude Fable 5 et GPT-5.6 Sol, il a montré un niveau à la pointe de la technologie dans plusieurs évaluations. Miroir Noir affirme que ses performances globales sont plus stables que celles des autres modèles testés.

Ce qu’il faut surtout retenir, c’est que Kimi K3 a aussi conçu de manière autonome une puce. Un grand modèle, qui commence à s’essayer à concevoir le matériel nécessaire pour faire fonctionner l’IA : cela vaut peut-être encore plus d’attention que les 2,8 billions de paramètres eux-mêmes.

I. Derrière les 2,8 billions de paramètres : la compétition des grands modèles passe de la taille à l’efficacité

Au cours des dernières années, le paramètre le plus facile à comprendre dans l’industrie des grands modèles a été la quantité de paramètres. Des dizaines de milliards aux mille milliards, puis aux billions, la taille des paramètres est presque devenue un signe majeur pour juger de la capacité des modèles.

Mais lorsque la taille atteint 2,8 billions de paramètres, la vraie question n’est plus « Quelle est la taille du modèle ? », mais plutôt : comment entraîne-t-on un modèle aussi massif ? À chaque tâche, de combien de paramètres faut-il activer le calcul ? Comment donner au modèle des capacités plus fortes tout en contrôlant les coûts d’exécution ?

La réponse donnée par Kimi K3 consiste à élargir encore l’architecture clairsemée.

D’après Miroir Noir, Kimi K3 utilise Mixture of Experts, c’est-à-dire une architecture à experts multiples. Le modèle compte 896 modules d’experts, mais pour chaque tâche, seuls 16 experts sont activés.

Cela signifie que le modèle peut disposer d’une immense capacité de connaissance, sans avoir besoin d’appeler tous les paramètres à chaque fois. Comme une institution superdotée de 896 départements spécialisés : selon le problème rencontré, il suffit de mobiliser les 16 départements les plus pertinents.

La valeur centrale de cette architecture réside dans le fait que la taille totale du modèle et le coût de calcul d’une seule passe peuvent être dissociés.

À l’avenir, la compétition des grands modèles ne dépendra peut-être pas de qui a le plus de paramètres, mais de qui parvient à activer efficacement davantage de paramètres à coût plus faible.

L’autre innovation majeure de Kimi K3 est Kimi Delta Attention, c’est-à-dire KDA. Dans l’architecture Transformer traditionnelle, le traitement de textes extrêmement longs fait nettement augmenter la quantité de calcul et la pression mémoire. L’objectif de KDA est d’améliorer l’efficacité du modèle lorsqu’il traite de longues séquences.

En parallèle, Kimi K3 introduit Attention Residuals, ou mécanisme de résidus d’attention. Dans les modèles traditionnels, l’information est généralement transmise progressivement couche par couche : elle s’accumule jusqu’aux couches suivantes, mais elle peut aussi générer de la redondance et une atténuation.

Attention Residuals cherche au contraire à faire « sauter » le modèle à travers différentes profondeurs, afin de sélectionner et d’appeler de manière ciblée des informations issues d’étapes plus précoces.

Si le flux d’information des modèles traditionnels ressemble à une rivière qui va du point de départ jusqu’à l’arrivée, alors Attention Residuals ressemble davantage à la mise en place, le long du trajet, d’un système de recherche d’informations : le modèle peut alors rappeler des informations à différentes profondeurs selon la tâche.

Miroir Noir indique que, par rapport à Kimi K2, Kimi K3 a amélioré d’environ 2,5 fois l’efficacité globale d’extension.

Cela montre que l’industrie de l’IA passe de « plus c’est grand, plus c’est fort » à « comment transformer davantage d’échelle en davantage d’efficacité ».

L’intérêt de Kimi K3 ne se limite donc pas au lancement d’un modèle à 2,8 billions de paramètres : il fait aussi monter encore plus haut la limite d’échelle des modèles open source.

Auparavant, les modèles open source étaient souvent perçus comme des poursuivants des modèles fermés. Désormais, les modèles open source commencent à prouver que des modèles de très grande échelle peuvent aussi être rendus publics, étudiés et développés en seconde couche.

II. Des robots conversationnels aux employés numériques : Kimi K3 vise des tâches complexes

Si les 2,8 billions de paramètres constituent l’étiquette la plus facile à diffuser pour Kimi K3, sa direction produit réelle vise, elle, des tâches à long horizon.

Dans le passé, la plupart du temps, les assistants IA répondaient à des questions. L’utilisateur posait une question, le modèle donnait une réponse. On lui demandait d’écrire du code, il renvoyait du code. On lui demandait de résumer un article, il produisait un résumé.

Mais dans la réalité, les tâches complexes ne peuvent souvent pas être achevées par un simple échange question-réponse.

Un chercheur peut avoir besoin de lire des articles, organiser des données, construire un modèle, exécuter des expériences, analyser les résultats, puis rédiger un rapport. Un développeur peut devoir lire de nombreux fichiers, comprendre la structure du projet, modifier le code, exécuter les tests, localiser les erreurs puis itérer encore et encore.

Ces tâches ont des points communs : des cycles longs, de nombreuses étapes, une grande quantité d’informations, et la nécessité d’ajuster l’action suivante en fonction des résultats intermédiaires — précisément le type de problème que Kimi K3 cherche à résoudre.

Dans un exemple présenté par Miroir Noir, Kimi K3 a accompli une tâche de recherche en astrophysique computationnelle. En lisant et en validant par recoupement plus de 20 articles, il a réalisé des calculs numériques, mené l’évaluation de centaines d’équations d’état, détecté des incohérences dans des formules publiées et généré plus de 3 000 lignes de code Python ainsi qu’un tableau de bord interactif en HTML.

L’office officiel indique que cette tâche aurait pris environ deux heures. Dans un scénario traditionnel, elle pourrait demander une à deux semaines à des chercheurs expérimentés.

Cela ne signifie pas que l’IA peut déjà remplacer les chercheurs : dans la recherche, la partie la plus importante consiste souvent à formuler les questions, évaluer les hypothèses et interpréter les résultats.

Mais Kimi K3 met en évidence un changement important : l’IA passe progressivement de l’aide à l’humain sur une étape donnée à l’exécution autonome d’un flux de travail complet. C’est la différence entre l’ère des agents et l’ère des robots conversationnels traditionnels.

Le chatbot traditionnel résout ce que vous lui demandez, puis vous réponde. Un agent, lui, consiste à ce que vous définissiez un objectif, puis qu’il décompose la tâche, appelle des outils, exécute les étapes, vérifie les résultats et les corrige continuellement.

La fenêtre de contexte de 1 million de tokens de Kimi K3 est, dans ce processus, particulièrement importante.

Pour de grands dépôts de code, des rapports de recherche, des documents d’entreprise et de la documentation de projets complexes, si le modèle peut comprendre davantage d’informations en une seule fois, cela signifie qu’il n’a pas besoin d’oublier le contexte fréquemment, ni que l’utilisateur doive répéter sans cesse le contexte.

En plus, Kimi K3 prend nativement en charge la compréhension visuelle, permettant à l’IA de former une boucle de travail plus complète.

Par exemple, après que l’IA a écrit du code, elle peut consulter le résultat d’exécution sur une page web ; après qu’elle a créé un PPT, elle peut vérifier la mise en page ; après qu’elle a généré du contenu, elle peut aussi juger du résultat via un retour visuel.

Par le passé, l’IA ressemblait davantage à quelqu’un qui écrit du code les yeux fermés ; à l’avenir, l’IA pourra comprendre la tâche, générer un résultat, observer un résultat, détecter un problème, puis modifier le résultat.

Miroir Noir étend aussi les capacités de Kimi vers Kimi Work, Kimi Code et Kimi API, entre autres : des scénarios orientés respectivement vers la recherche, les documents, les présentations, les tableaux, les tableaux de bord et les tâches de programmation complexes.

À l’avenir, l’IA qui aura une vraie valeur commerciale ne sera peut-être plus celle qui répond le plus souvent aux questions, mais celle qui peut accomplir le plus grand nombre de tâches.

Les logiciels traditionnels exigent que les utilisateurs apprennent des processus d’opération complexes. L’objectif d’un agent IA est, lui, de relier la recherche, les bases de données, la programmation, l’analyse de données et les outils bureautiques : l’utilisateur n’a alors qu’à décrire l’objectif final.

Cela signifie que la concurrence dans le secteur du logiciel pourrait ne plus porter sur qui dispose de plus d’outils, mais sur qui dispose du système d’exécution IA le plus puissant.

III. Ce qu’il faut vraiment surveiller, ce n’est pas le modèle, mais le fait que l’IA commence à concevoir des puces

La partie la plus marquante de Kimi K3 est peut-être le fait qu’il conçoive de manière autonome une puce.

D’après les informations divulguées par Miroir Noir, lors d’une exécution autonome de 48 heures, Kimi K3 a utilisé des outils open source EDA et une librairie de procédé Nangate 45 nm pour concevoir, optimiser et valider une puce destinée à un modèle compact de son propre architecture.

Cela ne signifie pas que Kimi K3 est déjà capable de réaliser, à lui seul, une production commerciale de masse d’une puce IA moderne au procédé le plus avancé. Le procédé en 45 nm reste très éloigné des accélérateurs IA les plus performants d’aujourd’hui, et la puce requiert, du design à la mise en production, de nombreux éléments complexes : IP, procédé, fabrication, packaging et chaîne d’approvisionnement.

Mais cette tentative conserve une importance majeure, car concevoir une puce ne consiste pas simplement à écrire du code : il faut traiter de multiples étapes, comme la conception logique, la synthèse, le placement et le routage, l’analyse temporelle, l’optimisation de la consommation et la vérification physique.

Par le passé, dans l’industrie des puces, l’IA servait plus souvent à aider les ingénieurs sur des tâches partielles : optimiser le placement, prédire les timings, ou découvrir des défauts de design.

Et Kimi K3 montre une autre possibilité : l’IA ne fait plus seulement usage d’outils, elle commence à organiser de manière autonome les outils pour mener un flux d’ingénierie complet.

C’est très similaire à l’évolution du développement de code par l’IA. Au début, l’IA ne pouvait générer qu’un petit extrait de code. Puis elle a pu écrire des programmes complets. Ensuite, elle a pu lire des dépôts de code, exécuter des tests et corriger des Bug. Aujourd’hui, l’IA commence à tenter de concevoir le matériel nécessaire pour faire fonctionner l’IA.

Cela pourrait ouvrir un nouveau cycle d’auto-amélioration de l’IA : l’IA aide à concevoir des puces plus puissantes, ces puces entraînent des modèles plus puissants, et ces modèles aident ensuite à concevoir la prochaine génération de puces.

Ce qu’il faut encore plus remarquer, c’est que Kimi K3 démontre aussi sa capacité à développer de manière autonome un système de programmation GPU.

D’après Miroir Noir, Kimi K3 a développé MiniTriton, un système compact de compilateur de type Triton, incluant sa propre couche de représentation intermédiaire, un flux d’optimisation et un flux de génération de code PTX.

Cela indique que la frontière des capacités de l’IA s’étend désormais : au lieu de se limiter à utiliser des logiciels, elle commence à créer des outils logiciels.

À l’avenir, le modèle lui-même pourrait participer directement à l’optimisation des puces, au développement des compilateurs, à l’adaptation des opérateurs et au réglage système : il s’agit peut-être de la plus importante valeur stratégique de Kimi K3.

Ce n’est pas seulement un produit modèle ; c’est l’exploration d’un mode de R&D « natif IA ». Du modèle au compilateur, de l’algorithme à la puce, des données à l’application : l’IA devient progressivement une partie de l’infrastructure.

Bien sûr, les puces conçues en autonomie par l’IA doivent encore être rigoureusement vérifiées, et les résultats scientifiques générés par l’IA nécessitent l’examen de professionnels. Quand l’IA exécute des tâches complexes de manière autonome, des erreurs peuvent également survenir.

Mais Kimi K3 a déjà envoyé un signal important : l’IA passe progressivement de l’objet qui est créé à une entité qui participe à la création de la prochaine génération d’IA.

Conclusion

Le lancement de Kimi K3, en apparence, ressemble à une simple mise à niveau du modèle, mais en réalité il reflète un changement dans la logique de compétition des grands modèles.

D’une échelle de paramètres plus importante à une architecture plus efficace. De la réponse à des questions à l’accomplissement de tâches complexes. Et de plus, au développement autonome de compilateurs et à la conception de puces : l’IA participe progressivement à la création de la prochaine génération d’IA.

2,8 billions de paramètres ne sont peut-être qu’un chiffre. Le vrai sujet à surveiller est que l’IA commence à tenter de concevoir son propre avenir.