Interview avec le co-fondateur d'OpenAI, Karpathy : les LLM sont de nouveaux types d'ordinateurs, tout doit être « réécrit »

Titre original : Interview de Karpathy, co-fondateur d’OpenAI : Les LLM sont un nouveau type d’ordinateur, tout doit être « réécrit »

Auteur original :律动BlockBeats

Source originale :

Reproduit : Mars Finance

Andrej Karpathy, co-fondateur d’OpenAI, a indiqué lors de sa dernière interview que les grands modèles de langage (LLM) sont en train de remodeler complètement l’architecture informatique en tant que « nouveau type d’ordinateur ».

Le 29 avril, Andrej Karpathy, figure clé de l’IA ayant dirigé le développement de Tesla Autopilot et jouant un rôle crucial chez OpenAI, a analysé en profondeur lors d’un événement organisé par AI Sent la transition technologique des agents IA et leur impact profond sur l’écosystème logiciel et matériel.

Karpathy a déclaré qu’à partir de décembre dernier, il avait commencé à réaliser que le flux de travail basé sur des agents était désormais réellement opérationnel, marquant l’arrivée concrète de l’ère Software 3.0.

Il a dit : « Beaucoup de gens ont encore en tête l’image de l’IA de l’année dernière avec ChatGPT, mais il faut revoir cela, surtout depuis décembre — la situation a changé de façon fondamentale. »

Il a également introduit le concept de « ingénierie agentique » (agentic engineering), pour distinguer de la « programmation vibe » qu’il avait nommée l’année dernière, cette dernière étant une continuation et une accélération des standards de qualité dans le développement logiciel professionnel.

Il a affirmé que « beaucoup de codes et d’applications existants ne devraient pas exister » sous cette nouvelle paradigme, et que la majorité des processus de recrutement, outils de développement et infrastructures actuels sont encore conçus pour l’humain, et non pour les agents.

L’aube du Software 3.0 : la passation de pouvoir dans l’architecture informatique fondamentale

L’industrie technologique se trouve à un carrefour entre une transformation quantitative et qualitative.

Décembre dernier a été un tournant clé, et Karpathy a admis avoir été profondément impressionné par les modèles d’IA les plus récents :

« Le code généré par le système devient de plus en plus parfait, je ne me souviens même plus de la dernière fois que je l’ai modifié. Je fais de plus en plus confiance à ce système… (ce qui) me fait sentir que je suis plus en retard que jamais en tant que programmeur. »

Ce choc représente une révolution complète du paradigme de calcul. Selon Karpathy, le marché sous-estime encore la profondeur de ce changement.

Il a souligné que nous disons adieu au « logiciel 1.0 (écriture de code) » et au « logiciel 2.0 (organisation de jeux de données pour entraîner des réseaux neuronaux) », pour entrer dans l’ère du « logiciel 3.0 ».

Dans cette nouvelle ère, les grands modèles de langage eux-mêmes deviennent un « nouvel ordinateur ».

Il a expliqué : « Votre programmation consiste désormais à écrire des prompts, et le contenu dans la fenêtre contextuelle est le levier que vous utilisez pour manipuler ce grand modèle de langage en tant qu’interprète, lui permettant d’effectuer des calculs dans l’espace d’informations numériques. »

Ce qui attire encore plus l’attention du marché, c’est sa prédiction audacieuse sur l’évolution future de l’architecture matérielle sous-jacente.

Actuellement, les réseaux neuronaux fonctionnent encore virtualisés sur des ordinateurs existants, mais il pense que cette relation entre le sujet et l’objet s’inversera à l’avenir : on peut imaginer que les réseaux neuronaux deviendront le processus principal, tandis que le CPU se transformera en une sorte de coprocesseur. Les réseaux neuronaux prendront en charge la majorité des tâches lourdes.

Cela signifie que la « puissance de calcul intelligente », qui domine actuellement les dépenses en capital du marché, verra son rôle stratégique encore renforcé à l’avenir.

La prochaine infrastructure : reconstruire l’écosystème « natif des agents »

Lorsque l’exécution et la codification seront prises en charge par des machines, quelle sera la valeur centrale de l’humain et la future forme d’infrastructure ?

Karpathy a déclaré franchement : « Tout doit être réécrit. »

Les documentations des divers frameworks et bibliothèques Internet actuels sont encore « écrites pour l’humain », ce qui l’agace profondément.

Il a critiqué : « Pourquoi me dire comment faire ? Je ne veux rien faire. Dois-je copier-coller du texte pour mon agent IA ? »

Le grand marché futur réside dans la construction d’une infrastructure « prioritaire aux agents ».

Dans ce monde, le système sera décomposé en « capteurs » pour percevoir le monde et en « actionneurs » pour le transformer, avec des structures de données hautement lisibles par les grands modèles de langage, et des agents machine représentant individus et institutions pour interagir dans le cloud.

Dans un avenir aussi automatisé, la rareté centrale de l’humain reviendra à l’esthétique, au jugement et à la compréhension commerciale la plus profonde.

Karpathy a cité une phrase qu’il répète souvent comme résumé : « Vous pouvez externaliser votre pensée, mais pas votre compréhension. »

L’ingénierie des agents : une explosion de productivité bien au-delà de « 10 fois celle d’un ingénieur »

Pour améliorer la productivité, la dimension la plus cruciale pour le marché, Karpathy distingue deux concepts clés : « programmation vibe » et « ingénierie agentique ».

Il indique que la « programmation vibe » élève le seuil minimal de développement logiciel par tous, tandis que « l’ingénierie agentique » vise à maintenir le plafond de qualité du logiciel professionnel.

L’« ingénierie agentique » ne consiste pas seulement à accélérer, mais exige que les développeurs coordonnent des agents IA « parfois sujets à erreur, avec une certaine stochasticité mais extrêmement puissants », pour avancer à pleine vitesse sans sacrifier la qualité.

Cela ouvrira également de vastes horizons pour la production d’entreprise.

Karpathy affirme : « On parle souvent d’un facteur 10 pour les ingénieurs », mais ce n’est plus suffisant pour décrire la vitesse d’accélération obtenue. Selon lui, ceux qui excellent dans ce domaine peuvent atteindre des pics de productivité bien supérieurs à 10 fois.

Face à cette explosion de productivité, la structure organisationnelle et la logique de sélection des talents des entreprises doivent être repensées.

Il recommande aux entreprises d’abandonner les entretiens traditionnels basés sur des algorithmes, pour évaluer comment les candidats utilisent plusieurs agents IA pour collaborer sur de grands projets, et leur capacité à résister aux attaques d’autres agents IA.

Les leviers pour la mise en œuvre commerciale de l’IA

Pour les entrepreneurs et investisseurs cherchant à rapidement déployer des applications IA, Karpathy propose un cadre d’évaluation très pratique : la vérifiabilité.

Actuellement, les capacités de l’IA présentent une « forme en dents de scie » très étrange.

Il donne l’exemple : les modèles les plus avancés peuvent aujourd’hui reconstruire simultanément 100 000 lignes de code ou détecter des vulnérabilités zero-day, mais ils vous disent d’aller faire laver votre voiture à 50 mètres, ce qui est complètement fou.

Ce décalage provient du fait que les laboratoires de pointe (comme OpenAI) concentrent d’énormes ressources en apprentissage par renforcement sur des domaines où les résultats sont facilement vérifiables, comme « mathématiques » et « code ».

Par conséquent, tant que l’on reste dans des scénarios commerciaux où les résultats sont vérifiables, l’IA peut déployer toute sa puissance.

Karpathy suggère qu’il existe encore sur le marché de nombreux environnements d’apprentissage par renforcement vérifiables à haute valeur, mais encore peu exploités par les grands laboratoires, ce qui constitue une énorme opportunité pour les startups de faire du fine-tuning et de monétiser.