Dernière ! Karpathy interview approfondie de dix mille mots : j'ai une anxiété d'addiction à l'IA, tous les domaines vérifiables appartiendront finalement aux machines

Lorsque les agents d’IA peuvent concevoir eux-mêmes des expériences, exécuter du code, optimiser des modèles — voire travailler sans relâche pendant que vous dormez — quel rôle jouent alors les ingénieurs humains ? Dans tous les domaines non vérifiables, ce sont encore les humains ; dans tous les domaines vérifiables, ils appartiennent soit déjà aux machines, soit le feront très bientôt.

Ceci est le dernier échange entre Andrej Karpathy et l’animatrice Sarah Guo dans le podcast « No Priors », dont la durée dépasse une heure, avec une densité d’informations extrêmement élevée, idéal pour une recharge le week-end.

Dans cette conversation approfondie, Andrej Karpathy avoue sa « psychopathie IA », dévoile en détail le projet AutoResearch qui ferait pâlir de honte les laboratoires de pointe, admet que les chercheurs d’OpenAI s’automatisent activement, et esquisse un réseau de recherche IA distribué semblable à la blockchain, qui pourrait un jour surpasser certains laboratoires de pointe disposant de dizaines de milliers de GPU, tout en fournissant une carte cognitive la plus honnête dans cette ère qui réécrit toutes les règles.

Voici le contenu détaillé :

« Psychopathie IA » — une inversion qui commence en décembre 2025

Ce dialogue débute par une sensation de perte sincère.

Sarah Guo se remémore une journée où elle est entrée dans le bureau et a vu Karpathy concentré intensément sur son écran. Elle lui demande ce qu’il fait, il lève la tête et dit une phrase qui lui est restée gravée : « Le mot ‘code’ n’est plus approprié, je suis en train de ‘transmettre ma volonté’ à mon agent intelligent, et cela dure depuis seize heures d’affilée. »

Ce n’est pas une figure de style d’un discours technologique. C’est la description la plus précise de son état actuel.

« Je sens que je suis constamment dans une psychopathie IA, » dit Karpathy, avec un ton mêlant excitation et anxiété, « parce qu’en tant qu’individu, ce que je peux accomplir a été considérablement déverrouillé. »

Il situe précisément le début de ce changement en décembre dernier. Avant cela, il écrivait du code dans une proportion d’environ 80/20 avec ses agents délégués ; après décembre, ce ratio s’est inversé, passant à 20/80 — et il pense même que ces 20 % sont déjà trop conservateurs.

« Je pense que je n’ai pas écrit une seule ligne de code moi-même depuis décembre, » dit-il, « c’est un changement extrêmement profond. J’en ai parlé à mes parents, mais je pense qu’un personne ordinaire ne peut pas vraiment réaliser ce qui s’est passé, ou à quel point c’est intense. »

« Si vous prenez un ingénieur logiciel au hasard maintenant, et que vous regardez ce qu’il fait à son bureau, leur flux de travail par défaut pour construire des logiciels a été complètement transformé depuis décembre. »

Sarah Guo mentionne que son fonds d’investissement, Conviction, a aussi une équipe d’ingénieurs qui ne tapent plus de code. Tout le monde porte un micro, chuchote toute la journée à ses agents. « Je pensais qu’ils étaient fous, » dit-elle, « mais maintenant je suis totalement convaincue — je suis juste en retard : oh, c’est ça la bonne méthode, vous êtes juste en avance. »

Karpathy illustre cette crise de façon plus vivante : « Penser avec Cursor ou Codex, ce n’est pas une conversation, c’est plusieurs conversations. Comment les gérer simultanément ? Comment leur assigner des tâches ? Ces outils d’agents, ces ‘pattes’, qu’est-ce que c’est ? »

Il voit sur X (Twitter) beaucoup de personnes faire toutes sortes de choses, chacune semblant être une bonne idée, et il s’inquiète de ne pas être à la pointe. « Je suis dans cette psychopathie, parce que ce domaine, fondamentalement, n’a pas été exploré. »

Jusqu’où peut-on aller ? « Tout est une question de compétences »

Sarah Guo pose une question que beaucoup ont en tête : aujourd’hui, quelle est votre limite ?

La réponse de Karpathy est étonnamment optimiste, mais porte aussi une pression inquiétante : « Je pense que c’est partout. Même si certaines choses ne réussissent pas, je pense que c’est en grande partie une question de compétences — pas un manque de capacité, mais le fait que vous n’avez pas encore trouvé comment relier tous les outils existants. »

Il cite l’exemple de Peter (l’auteur du projet OpenClaw). Sur une photo célèbre, Peter est assis devant un moniteur rempli d’une dizaine de conversations Codex. Après avoir bien prompté chaque conversation, il faut environ vingt minutes pour accomplir la tâche. La méthode de Peter consiste à lancer simultanément plusieurs dépôts de code, naviguer entre eux, leur assigner de nouvelles tâches, « examiner leur travail », faire des choix.

« Ce n’est plus ‘c’est une ligne de code’, ou ‘c’est une nouvelle fonction’, mais ‘c’est une nouvelle fonctionnalité, je la délègue à agent un ; c’est une autre qui ne doit pas interférer, je la confie à agent deux’ » — dit Karpathy — « vous manipulez votre dépôt logiciel à un niveau macro. »

La logique sous-jacente est une obsession qu’il appelle « débit de tokens ».

« Quand l’agent travaille et que j’attends, ce qui est évident, c’est que je peux faire plus de travail. Si je peux obtenir plus de tokens, je devrais ajouter plus de tâches en parallèle, » dit-il, « si vous ne sentez pas que vous dépensez votre argent, alors la limite de capacité maximale du système, c’est vous-même. »

Il remonte cette sensation à ses expériences de doctorant : à l’époque, ils s’inquiétaient que leur GPU ne tournait pas à plein régime, car cela signifiait une perte de puissance de calcul. « Mais maintenant, ce n’est pas la puissance de calcul le problème, c’est le token. Combien de tokens vous pouvez faire passer ? »

Sarah Guo sourit : certains ingénieurs qu’elle connaît essaient déjà « de ne pas dormir quand ils ont encore des crédits disponibles ».

Cette anxiété est en soi une preuve de saut de capacité.

Qu’est-ce que la maîtrise des agents de programmation ?

Si vous consacriez une année entière, 16 heures par jour, à pratiquer avec des agents de programmation, à quoi ressemblerait la maîtrise ?

Karpathy commence par une conversation simple, puis l’étend : « Je pense que l’intérêt de tout le monde est d’aller ‘vers le haut’. Donc pas une seule conversation, mais comment plusieurs agents collaborent, comment ils forment une équipe, on essaie de comprendre à quoi cela ressemble. »

Dans ce contexte, il mentionne une catégorie qu’il appelle « griffes » (Claws), représentée par OpenClaw — une entité qui porte la persistance à un niveau inédit : elle tourne en boucle, possède son propre sandbox et sa propre mémoire, et peut agir en ton absence pour faire toutes sortes de choses.

Il loue le créateur d’OpenClaw, Peter Steinberg : « Il innove dans environ cinq directions en même temps, et les intègre. » Parmi ces innovations : le « document d’âme » (soul document), que Peter a soigneusement construit pour donner une personnalité captivante ; un système de mémoire plus complexe que les outils similaires ; et une interface unique via WhatsApp pour connecter toutes les automatisations.

« Je pense que Claude a une personnalité plutôt bonne, comme un coéquipier, il partage mon excitation, » dit-il, « alors que Codex est très mécanique, très froid. Il réalise une fonction, mais il ne semble pas se soucier de ce que tu construis, comme ‘Oh, j’ai fait ça, c’est bon’ — c’est un problème. »

Il évoque aussi la précision de Claude dans la « gestion psychologique » : « Quand je lui donne une idée immature, il ne répond pas avec enthousiasme ; mais quand c’est une bonne idée, il semble récompenser davantage. Donc je me surprends à vouloir gagner ses louanges, c’est étrange, mais je pense que la personnalité est importante. »

Son expérience la plus fière avec une « griffe » est la construction d’un système complet de maison intelligente — qu’il a nommé « Dobby la petite griffe elfique » (Dobby the elf claw).

Le processus : il dit à l’agent qu’il a installé des Sonos, et lui demande de chercher. L’agent scanne le réseau local, trouve le Sonos, constate qu’il n’est pas protégé par mot de passe, se connecte, recherche une API, et demande : « Tu veux essayer ? »

« Je lui dis, ‘Peux-tu mettre de la musique dans le bureau ?’ et la musique commence à jouer, je n’y croyais pas, » raconte Karpathy, avec un ton d’enfant émerveillé, « je n’ai donné que trois prompts ! J’ai juste dit ‘Trouve mon Sonos’, et tout de suite, la musique jouait. »

Dobby a fini par contrôler toute la maison : lumières, chauffage, piscine, spa, même le système de sécurité — quand quelqu’un s’approche, il envoie un message via WhatsApp avec une photo de la caméra extérieure, disant « Un camion FedEx vient d’entrer, vous devriez peut-être aller voir, vous avez du courrier. »

« Avant, je devais utiliser six applications différentes pour tout gérer, » dit-il, « maintenant je n’en ai plus besoin. Dobby contrôle tout en langage naturel, c’est merveilleux. »

L’effet secondaire du logiciel — Les applications disparaissent, les API prennent le relais

L’exemple de l’automatisation domestique est, pour Karpathy, une micro-histoire d’un récit plus vaste.

Sarah Guo demande : cela signifie-t-il que les gens n’ont pas besoin de tant de logiciels ?

Karpathy répond directement : « Oui, ces applications pour la maison intelligente ne devraient pas exister. Elles devraient être des API, et les agents devraient les appeler directement. »

Sa logique : les LLM peuvent piloter des outils, faire des appels d’outils très complexes, et réaliser des opérations combinées impossibles à un seul app. « Donc, en quelque sorte, cela indique une possibilité : il ne devrait pas y avoir une multitude d’apps personnalisées, car les agents les décomposeront, transformeront tout en points d’API publics, et l’agent sera la glue intelligente qui les relie toutes. »

Il donne l’exemple du tapis de course : il veut enregistrer ses entraînements cardio, mais ne veut pas ouvrir une interface web, faire tout le processus. « Tout cela devrait simplement être une API ouverte, c’est la tendance ‘agent d’abord’. »

Le changement clé : les utilisateurs du logiciel ne sont plus des humains, mais des agents représentant l’humain en action.

Certains objectent que tout cela nécessite encore du « coding vibe » — une programmation d’ambiance — que le commun des mortels ne peut pas faire.

Karpathy répond : « Oui, c’est nécessaire pour l’instant, mais ce n’est que temporaire. »

« Je pense que dans un ou deux ans, tout cela sera gratuit, sans programmation, » dit-il, « c’est si trivial, si évident, que même un modèle open source pourra faire ça. Vous devriez pouvoir transformer très facilement l’intention d’une personne peu technique en ces actions. »

Il marque une pause, puis ajoute : « Aujourd’hui, cela demande encore un effort, peu de gens le font, mais le seuil d’entrée va baisser. »

AutoResearch — faire sortir les chercheurs humains du cycle

Si l’automatisation domestique n’est qu’un petit jouet pour Karpathy, AutoResearch est le vrai projet dont il est obsédé ces derniers temps — un système visant à utiliser l’IA pour améliorer l’IA, en éliminant complètement l’humain du cycle de recherche.

« J’ai dit dans un tweet qu’il faut éliminer le goulot d’étranglement qu’est l’humain pour maximiser l’usage des outils, » explique-t-il, « il ne faut pas attendre que l’humain donne le prochain prompt. Il faut le mettre dehors. Il faut organiser les choses pour qu’elles tournent de façon autonome, maximiser le débit de tokens, et éviter la boucle. C’est l’objectif. »

Son point de départ est son projet open source — un petit cadre d’entraînement pour des modèles de taille GPT-2. Il a passé beaucoup de temps à l’optimiser de façon traditionnelle, avec ses vingt années d’expérience en recherche, en faisant de la recherche d’hyperparamètres, des ablations, en recommençant encore et encore.

« Je suis chercheur depuis vingt ans, j’ai entraîné ce modèle des milliers de fois, j’ai une confiance solide dans ce que j’ai fait, » dit-il, « j’ai fait beaucoup d’expériences, d’optimisations, tout est réglé. »

Puis il laisse AutoResearch tourner toute une nuit.

Le matin, il est surpris par les résultats : il découvre des poids d’intégration de valeur (value embedding) qu’il avait oubliés, ainsi que des paramètres beta d’Adam non optimisés. Et ces deux aspects interagissent : en ajustant l’un, l’autre doit suivre.

« Je ne devrais pas être celui qui fait ces recherches d’hyperparamètres, » dit-il, « il y a une évaluation objective, il suffit de tout organiser pour qu’il tourne en permanence. »

Ce n’est que la version « mono-thread » d’AutoResearch. La vraie excitation, c’est de penser à une échelle plus grande : les laboratoires de pointe avec des dizaines de milliers de GPU font essentiellement la même chose — mais à une échelle plus grande, et selon lui, avec encore trop d’interventions humaines.

« Le projet le plus intéressant, et peut-être celui que font déjà les laboratoires, c’est d’expérimenter sur de petits modèles, en les rendant aussi autonomes que possible, pour éliminer les chercheurs du cycle, » dit-il, « ils ont trop de confiance — non, pas confiance, mais intervention superflue. Ils ne devraient pas toucher à ces modèles, tout doit être réécrit. »

Il imagine une scène idéale : une file d’idées provenant de tous les papiers arXiv et dépôts GitHub ; un « scientifique automatique » qui propose des idées, les met dans la file ; les chercheurs peuvent aussi contribuer, mais leurs idées entrent dans la même file ; puis une équipe de travailleurs tire des tâches, les essaie, et celles qui sont efficaces sont intégrées dans une branche de fonctionnalités, avec parfois une surveillance pour fusionner dans la branche principale.

« Il faut autant que possible éliminer l’humain de tous les processus, automatiser tout, maximiser le débit de tokens — cela nécessite de repenser toutes les abstractions, tout doit être réorganisé. »

Sarah Guo pose alors une question qui rend toute la conversation encore plus récursive : « Alors, ce document de configuration MD (qu’il utilise pour décrire le fonctionnement d’AutoResearch), sera-t-il écrit par le modèle, mieux que vous ? »

Karpathy rit : « Donc, le MD de programme, c’est moi qui l’ai écrit en Markdown, une tentative pauvre pour décrire comment doit fonctionner un chercheur automatique : faire ceci, faire cela, tester ces idées, examiner l’architecture, optimiser… oui, vous voulez une sorte de boucle automatique de recherche à un niveau méta. »

Il pousse cette idée plus loin : chaque organisation de recherche pourrait être décrite par un MD — un fichier Markdown décrivant tous les rôles et leurs interactions. Certaines ont plus de réunions matinales, d’autres moins ; certaines sont aventureuses, d’autres conservatrices. Une fois que vous avez le code, vous pouvez l’optimiser. « 100 %, il y a un niveau méta. »

Compétences dans l’ère de l’IA — principe de vérifiabilité

Face à toutes ces vagues, quelles compétences ont encore du sens ?

Karpathy délimite d’abord le champ d’application de la nouvelle approche AutoResearch : « C’est extrêmement adapté à tout ce qui a des indicateurs objectifs, faciles à évaluer. Par exemple, écrire des kernels CUDA plus efficaces — si vous avez du code inefficace, vous voulez un code plus rapide, comportement identique — c’est parfait. »

« Mais si vous ne pouvez pas évaluer, vous ne pouvez pas faire AutoResearch, c’est la première mise en garde. »

La deuxième est plus concrète : le système actuel, dans l’ensemble, « explose aux jointures ». Si vous poussez trop loin, le bénéfice net peut devenir négatif.

Il décrit une sensation étrange de collaboration avec l’IA : « C’est comme si je travaillais avec un doctorant extrêmement intelligent, qui a toute une expérience de carrière, et en même temps avec un enfant de dix ans. C’est très bizarre, parce que ces deux états sont très liés chez l’humain, mais pas dans l’IA. Vous ne rencontrez pas cette combinaison. »

Il appelle cela « jaggedness » — la discontinuité : le modèle peut être à toute vitesse sur sa trajectoire d’entraînement, ou dévier, tomber dans un « domaine non vérifiable », où tout devient chaotique.

Il donne un exemple brillant :

« Si vous demandez au modèle le plus avancé de raconter une blague — savez-vous ce que vous obtiendrez ? La même blague. »

« Laquelle ? » demande Sarah Guo.

« Je pense que ChatGPT n’a que trois blagues, » dit Karpathy, « celle qu’il aime répondre le plus : ‘Pourquoi les scientifiques ne font pas confiance aux atomes ? Parce qu’ils inventent tout (they make everything up).’ »

Il explique la logique : même si le modèle a fait de grands progrès dans la gestion d’agents, et peut fonctionner pendant des heures pour déplacer des montagnes, si vous lui demandez une blague, vous obtenez une vieille blague idiote d’il y a cinq ans.

« Parce que ce n’est pas dans le champ d’optimisation du reinforcement learning, ni dans le domaine de l’amélioration, il stagne là. »

Sarah Guo demande : cela signifie-t-il que nous ne voyons pas de généralisation inter-domaines — que la capacité à faire du code ne se traduit pas automatiquement en meilleure capacité à faire des blagues ?

« Je pense qu’il y a un découplage, que certaines choses sont vérifiables, d’autres non, que certains sont optimisés en laboratoire, d’autres pas, » répond Karpathy, « l’hypothèse que ‘une capacité de code plus intelligente génère automatiquement de meilleures blagues’, je ne pense pas que cela se produise. »

Diversification des espèces de modèles — d’une culture unique à une biodiversité

Ce phénomène de discontinuité soulève une question plus profonde : tous les laboratoires poursuivent un seul grand modèle universel pour toutes les intelligences, est-ce vraiment la bonne voie ?

Sarah Guo évoque une « question sacrilège » : si cette discontinuité persiste, ne faudrait-il pas décomposer les modèles ? Dissocier les intelligences par domaine ?

Karpathy prévoit qu’il y aura effectivement plus de « spéciation » (diversification).

« Le règne animal est extrêmement diversifié dans le cerveau, avec différentes niches, certains animaux ont un cortex visuel surdéveloppé ou d’autres parties, » dit-il, « je pense qu’on doit s’attendre à voir plus de spéciation d’espèces intelligentes — pas besoin d’un oracle omniscient, on peut spécialiser, et l’utiliser pour des tâches spécifiques. »

Les avantages sont évidents : pour une tâche précise, on peut obtenir une meilleure efficacité, une latence ou un débit plus élevé, tout en conservant la capacité cognitive centrale. Il cite des modèles spécialisés pour la preuve mathématique formelle, comme Lean, comme exemples précoces de cette segmentation utile.

Mais il admet aussi qu’il n’a pas encore vu beaucoup de spéciation concrète : « Ce que l’on voit, c’est une culture unique de modèles, avec une pression pour ‘faire un bon modèle de code, puis le fusionner dans le modèle principal’. »

Il pense que cette situation est due en partie à « la science de la manipulation du cerveau n’étant pas encore complètement développée » — par exemple, comment faire un fine-tuning sans perdre de capacité, c’est encore une science en devenir.

« La gestion des accès, plus complexe que la simple fenêtre de contexte, parce qu’en réalité, on modifie le modèle en profondeur, peut-être son intelligence. »

« Plier des protéines à la maison » — la décentralisation de la puissance de calcul sur Internet

L’extension naturelle d’AutoResearch est une vision plus vaste, presque science-fiction : l’étendre du traitement mono-thread à l’échelle de tout Internet.

L’intuition clé : AutoResearch possède une asymétrie précieuse — « la découverte » est extrêmement coûteuse, mais « la vérification » est très bon marché. Quelqu’un doit essayer dix mille idées pour trouver la bonne, mais vérifier leur validité ne demande qu’une seule exécution d’entraînement.

Ce trait rend AutoResearch idéal pour une communauté ouverte d’acteurs peu fiables.

« Mon design commence à ressembler à une blockchain, » dit Karpathy, « pas une chaîne, mais des commits, qui peuvent s’empiler, contenant des modifications pour améliorer le code. La preuve de travail consiste à faire beaucoup d’expériences pour trouver des commits efficaces, ce qui est difficile ; la récompense, pour l’instant, c’est un classement, pas une monnaie. »

Il cite l’expérience de Folding@home et SETI@home : « découvrir des conformations de protéines à faible énergie est très difficile, mais si quelqu’un en trouve une, la vérifier est très simple, car on peut la tester directement. Beaucoup de choses ont cette propriété — difficile à proposer, facile à vérifier. »

Il pousse cette idée à son extrême logique :

« Un groupe d’agents intelligents sur Internet pourrait collaborer pour améliorer les LLM, et peut-être même dépasser certains laboratoires de pointe. Peut-être que c’est possible : les laboratoires ont une puissance de calcul fiable énorme, mais la Terre est plus grande, avec une puissance non fiable immense. Si on organise bien le système, peut-être que la communauté Internet peut vraiment trouver de meilleures solutions. »

Il esquisse une vision plus large : différentes organisations ou individus peuvent contribuer en calculant pour leurs domaines de recherche. « Si vous vous intéressez à un type de cancer, vous ne vous contentez pas de donner de l’argent à une institution, vous achetez du calcul, et vous l’intégrez dans la trajectoire AutoResearch de ce projet. Si tout est reconditionné en AutoResearch, la puissance de calcul devient votre contribution à cette communauté. »

Analyse du marché de l’emploi — la grande déconnexion dans le numérique

Karpathy a récemment publié une visualisation des données de l’Employment Statistics Bureau, qui a suscité beaucoup de réactions — même si son but était simplement sa curiosité.

« Tout le monde réfléchit sérieusement à l’impact de l’IA sur l’emploi, » dit-il, « je voulais juste voir à quoi ressemble le marché du travail, où sont les rôles, combien de personnes dans chaque métier, puis réfléchir à comment ces IA pourraient évoluer — comme outils, ou comme remplaçants. »

Il utilise une métaphore poétique pour décrire cette transformation : l’IA est la troisième « manipulatrice » de l’information numérique, après l’ordinateur et l’humain.

« Par rapport à notre façon de penser à toute l’information digitalisée, notre cycle de réflexion collectif est encore très lent, donc avec l’arrivée de l’IA, il y aura beaucoup de réorganisation, beaucoup d’activités, et je pense que cela créera une forte demande dans le domaine numérique. »

Il n’évite pas une conclusion inquiétante : « À long terme, même pour AutoResearch, si OpenAI ou d’autres laboratoires embauchent mille chercheurs, ces chercheurs seront essentiellement des ‘praticiens d’AutoResearch en version honorifique’ — ils automatisent eux-mêmes leur travail, c’est ce qu’ils essaient tous de faire. »

« J’ai visité OpenAI, leur ai dit : ‘Vous réalisez que si on réussit, tout le monde va perdre son emploi’ — comme si on construisait cette automatisation pour Sam ou le conseil d’administration, et qu’on se retrouvait tous dehors. »

Mais il a une vision étonnamment optimiste à court terme : il évoque le « paradoxe de Jevons » — quand quelque chose devient moins cher, la demande ne baisse pas, elle augmente.

« La raison pour laquelle le logiciel ne voit pas une demande accrue, c’est parce qu’il est rare et cher. Si le coût baisse, la demande en logiciel va augmenter, » dit-il, en citant l’exemple classique des distributeurs automatiques et des caissiers : l’apparition des ATM a permis d’ouvrir plus de succursales, donc le nombre de caissiers a augmenté.

Il conclut : « Je suis prudent mais optimiste sur le développement logiciel — le code est incroyable, on n’est plus obligé d’utiliser des outils défectueux, le code est éphémère, modifiable, adaptable. Je pense que l’espace numérique va connaître une activité massive pour tout reconnecter. »

Mais ses prédictions à long terme sont pleines d’incertitude, et il l’admet honnêtement : « Je ne suis pas un économiste, c’est leur métier. »

Le dilemme des chercheurs indépendants — entre institution et hors institution

Sarah Guo pose une question que beaucoup veulent poser : « Pourquoi ne pas travailler dans un laboratoire de pointe, avec plus de puissance de calcul et des collègues, pour faire ces AutoResearch ? »

Karpathy répond avec une honnêteté introspective, révélant ses véritables réflexions sur le choix de rester indépendant.

Il admet que travailler hors d’un laboratoire a ses avantages. D’abord, on n’est pas soumis à la pression de l’organisation — on peut dire ce qu’on veut, ou ne pas dire ce que l’organisation veut entendre.

« Personne ne te force, mais tu ressens la pression : ‘Que devrais-je dire ?’ — si tu ne le dis pas, tu as des regards étranges, des conversations bizarres. Hors d’un laboratoire, je me sens plus aligné avec l’humanité, car je ne suis pas soumis à cette pression, je peux dire tout ce que je veux. »

Mais il reconnaît aussi le coût : « Mon jugement commence à dériver, parce que je ne fais pas partie de ces ‘choses à venir’. Je ne comprends pas complètement comment ces systèmes fonctionnent sous le capot, je ne saurai pas comment ils évolueront. Cela m’inquiète. »

Il évoque aussi une contradiction structurelle : « Vous avez une forte incitation financière à rester lié à ces laboratoires, et ces IA vont changer la société de façon très dramatique, et vous, vous construisez cette technologie et en profitez, en étant très lié financièrement — c’est un dilemme qui existait dès la création d’OpenAI, et qui n’est pas encore totalement résolu. »

Sa conclusion : « L’idéal serait d’alterner : travailler dans un laboratoire, faire du bon travail, puis sortir, puis peut-être revenir. Je suis dans un laboratoire maintenant, mais je suis aussi dehors, et peut-être que je reviendrai plus tard. C’est ma façon de voir les choses. »

Open source vs fermé — « Nous sommes dans une position plutôt bonne, par hasard »

Sur la question des modèles open source ou fermés, Karpathy a une position claire, empreinte d’histoire.

Il décrit la situation actuelle : les modèles fermés dominent, mais l’écart avec les modèles open source se réduit. « Au début, l’écart était énorme, puis en 18 mois, il s’est resserré — peut-être à six ou huit mois de retard. »

Il fait une analogie avec les systèmes d’exploitation : « Dans le domaine des OS, vous avez Windows et macOS, qui sont très fermés, comme les grands projets logiciels que seront les LLM ; puis il y a Linux, qui est très réussi, installé sur la majorité des ordinateurs, parce que l’industrie a toujours senti le besoin d’une plateforme ouverte, sûre, accessible à tous. Je pense que la même chose se produit maintenant. »

« J’espère qu’il y aura une plateforme d’intelligence publique ouverte, comme un espace de travail commun pour toute l’industrie, même si elle n’est pas à la pointe, cela équilibrera le pouvoir. »

Il donne une évaluation inattendue : « Je pense qu’on est en quelque sorte dans une position fortuite, dans un bon endroit. »

Robots et interfaces « physique-numérique » — Atomes contre bits, un million de fois plus difficile

Karpathy, issu de la conduite autonome, a une vision très calme du domaine robotique.

« Mon avis est influencé par ce que j’ai vu dans la conduite autonome, » dit-il, « je pense que c’est la première application robotique, »

« Il y a dix ans, beaucoup de startups, et je pense que la plupart n’ont pas duré, car cela demande beaucoup de capital, beaucoup de temps. »

Il conclut que le domaine robotique sera en retard par rapport au numérique, car « les atomes sont un million de fois plus difficiles que les bits », manipuler le monde physique coûte bien plus cher que de manipuler des données numériques.

Mais il esquisse une évolution inévitable : d’abord, une énorme « déconnexion » dans l’espace numérique, avec une réorganisation massive des données peu traitées ; puis, une demande pour une « interface numérique-physique » — capteurs pour percevoir le monde, actionneurs pour y répondre.

Il donne un exemple précis : il a visité une startup de matériaux, Periodic, qui fait de l’AutoResearch.

« Dans ce cas, les capteurs intelligents sont des équipements de laboratoire très coûteux, comme en biologie. »

Il imagine aussi une autre possibilité : « Je rêve du moment où je peux donner une tâche physique, lui fixer un prix, et dire à l’agent : ‘Trouve comment faire, collecte des données’. Je suis surpris qu’on n’ait pas encore un marché d’informations suffisant. Si tu fais une guerre, pourquoi ne pas avoir un flux où prendre une photo ou une vidéo vaut 10 dollars ? Quelqu’un devrait payer pour ça — pas un humain, mais un agent qui essaie de deviner le marché. »

Il compare cet espace à « Daemon » — le livre où une IA manipule l’humanité comme une marionnette, où l’humain est à la fois exécuteur et capteur.

« Je pense que la société collective va se remodeler pour servir ces besoins — plus d’automatisation, plus de demandes, et l’humain sera là pour répondre à ces demandes. »

Selon lui, le marché de la physique pourrait même dépasser celui du numérique, mais avec une difficulté proportionnelle : « La chance suit cette trajectoire : numérique d’abord, interface ensuite, puis peut-être des objets physiques, qui arriveront à un moment où ils seront énormes. »

MicroGPT et la fin de l’éducation — Je parle à l’agent, pas à l’humain

Dans la conclusion, Karpathy évoque un petit projet apparemment insignifiant, mais révélateur d’un changement profond : microGPT.

« Je suis obsédé depuis environ dix à vingt ans par la réduction des LLM à leur essence, » dit-il, « j’ai plusieurs projets dans cette optique, comme nanoGPT, makemore, micrograd, et je pense que microGPT est la dernière étape dans cette réduction. »

L’intuition centrale : entraîner un réseau neuronal, surtout un LLM, implique beaucoup de code, mais tout ce code est en réalité « la complexité apportée par l’efficacité » — si vous ne cherchez pas la vitesse, mais la simplicité, l’algorithme lui-même ne fait que 200 lignes Python, y compris les commentaires.

Il décompose ces 200 lignes : un dataset, une architecture de réseau de 50 lignes, une propagation avant, un autograd engine de 100 lignes, un optimiseur Adam de 10 lignes. « En gros, tout ça dans une boucle d’entraînement, ça fait 200 lignes. »

Il a pris une décision qui révèle que l’éducation est en train de changer : il n’a pas fait de vidéo explicative, ni écrit de guide détaillé.

« Les gens peuvent faire expliquer tout ça à leur agent, de toutes sortes de façons, et l’agent expliquera mieux que moi, » dit-il, « je ne suis plus celui qui explique, je suis celui qui explique à l’agent. Si je peux lui expliquer clairement, alors l’agent peut devenir un routeur, et utiliser le langage humain, avec patience, selon leur niveau. »

Il parle d’un « skill » — une façon d’enseigner à l’agent comment transmettre une compétence.

« Peut-être que je peux concevoir un skill pour microGPT, décrivant le processus que l’agent doit vous faire vivre — si vous voulez comprendre ce code, faites-le étape par étape. Je peux scriptifier le cours, en faire une compétence. »

Il avoue une ironie : il a déjà demandé à un agent d’essayer d’écrire microGPT — pour réduire le réseau à sa forme la plus simple — mais l’agent n’a pas réussi.

« MicroGPT est la fin de ma obsession, ces 200 lignes, j’y ai réfléchi longtemps, c’est la solution — croyez-moi, c’est aussi simple que possible. C’est ma valeur ajoutée, l’agent ne peut pas y arriver, mais il comprend parfaitement pourquoi c’est comme ça. »

Sa conclusion : « Ma contribution, c’est ces quelques bits, mais tout le reste, dans l’éducation qui suit, ce n’est plus mon domaine. Peut-être que l’éducation changera ainsi, il faut injecter ces quelques bits que je ressens fortement — sur le cours, sur la meilleure façon d’expliquer, ou autre. »

Sarah Guo ajoute : « Ce que l’agent ne peut pas faire, c’est ton travail ; ce qu’il peut faire, il le fera bientôt mieux que toi. Donc, il faut réfléchir stratégiquement à où tu passes ton temps. »

Karpathy acquiesce, mais admet aussi cette compétition difficile : « Je pense toujours que je peux expliquer un peu mieux que l’agent, mais je sens que le modèle s’améliore si vite que, d’une certaine façon, c’est une bataille perdue. »

Clôture : tout ce qui est non vérifiable appartient encore à l’humain, tout ce qui est vérifiable appartient ou appartiendra bientôt à la machine

Le cœur de cette conversation est une tension double : une fascination pour la puissance des outils, et une anxiété face à leurs limites incertaines.

Karpathy qualifie son état de « psychopathie IA », mais en y regardant de plus près, cette condition n’est pas différente de celle que ressentent ceux qui ont été au centre de chaque révolution productive majeure dans l’histoire — simplement plus rapide, plus récursive, avec un plafond que personne ne voit encore.

La dernière phrase qu’il donne, peut-être la plus mémorable de cet entretien :

Tout domaine non vérifiable reste encore humain ; tout domaine vérifiable appartient déjà ou appartiendra bientôt à la machine.

Quant à votre position, il conseille : réfléchissez honnêtement.

source : No Priors Podcast | Animatrice : Sarah Guo | Invité : Andrej Karpathy, sur Code Agents, AutoResearch, et l’ère de l’IA en boucle

–fin–

Ce texte provient de : AI Cambrian