OpenAI co-fondateur Karpathy interview : Les LLM sont de nouveaux types d'ordinateurs, tout doit être « réécrit »

Titre de la vidéo originale : Andrej Karpathy : Du codage Vibe à l’ingénierie agentique

Source de la vidéo originale : Sequoia Capital
Traduction originale : Bao Yilong, Wallstreet Jingwen

Andrej Karpathy, co-fondateur d’OpenAI, indique dans sa dernière interview que, les grands modèles de langage sont en train de redéfinir complètement l’architecture informatique en tant que « nouvelle machine ».

Le 29 avril, Andrej Karpathy, figure clé du développement de l’Autopilot de Tesla et ayant une position influente chez OpenAI, a analysé en profondeur lors d’un événement organisé par AI Sent, la transition technologique des agents IA et leur impact profond sur l’écosystème logiciel et matériel.

Karpathy explique qu’à partir de décembre dernier, il a commencé à réaliser que le workflow centré sur les agents était désormais réellement opérationnel, marquant l’arrivée concrète de l’ère Software 3.0.

Il déclare : Beaucoup de gens avaient encore en tête l’image de ChatGPT l’année dernière, mais il faut revoir cette perception, surtout depuis décembre — la situation a changé de manière fondamentale.

Il a également introduit le concept innovant d’« ingénierie agentique » (agentic engineering), pour distinguer cette nouvelle approche de ce qu’il appelait l’« ambiance coding » (vibe coding) l’année dernière, cette dernière étant une norme de qualité dans le développement logiciel professionnel, accélérée par cette nouvelle ère.

Il affirme franchement que de nombreux codes et applications existants « ne devraient pas exister » sous ce nouveau paradigme, et que la majorité des processus de recrutement, outils de développement et infrastructures actuels sont encore conçus pour l’humain, et non pour les agents.

L’aube du Software 3.0 : la transition du pouvoir dans l’architecture informatique fondamentale

L’industrie technologique se trouve à un carrefour entre une croissance quantitative et une transformation qualitative.

Décembre dernier a été un tournant crucial, confie Karpathy, qui a été profondément bouleversé par les modèles IA les plus récents :

Les blocs de code générés par le système deviennent de plus en plus parfaits, je ne me souviens même plus de la dernière fois que je l’ai modifié. Je fais de plus en plus confiance à ce système... (ce qui me fait sentir) aussi dépassé que jamais en tant que programmeur.

Ce choc représente une révolution complète du paradigme de calcul. Selon Karpathy, le marché sous-estime encore la profondeur de ce changement.

Il souligne que nous sommes en train de dire adieu au « logiciel 1.0 » (écriture de code) et au « logiciel 2.0 » (organisation des datasets pour entraîner des réseaux neuronaux), pour entrer dans l’ère du « logiciel 3.0 ».

Dans cette nouvelle ère, les grands modèles de langage sont eux-mêmes une « nouvelle machine » de calcul.

Il explique : votre programmation consiste désormais à rédiger des prompts, et le contenu dans la fenêtre contextuelle est le levier pour manipuler ce grand modèle de langage, qui agit comme un interpréteur, pour effectuer des calculs dans l’espace de l’information numérique.

Ce qui attire encore plus l’attention du marché, c’est sa prédiction audacieuse sur l’évolution future de l’architecture matérielle sous-jacente.

Actuellement, les réseaux neuronaux fonctionnent encore virtualisés sur des ordinateurs existants, mais il pense que cette relation entre le sujet et l’objet va s’inverser à l’avenir : on peut imaginer que les réseaux neuronaux deviendront le processus principal, tandis que le CPU se transformera en un co-processeur. Les réseaux neuronaux prendront en charge la majorité des tâches lourdes.

Cela signifie que, dans le futur, la « puissance de calcul intelligente » qui domine les dépenses en capital du marché sera encore plus stratégiquement centralisée.

La nouvelle infrastructure : reconstruire l’écosystème « natif des agents »

Lorsque l’exécution et la programmation seront prises en charge par des machines, quelles seront les valeurs fondamentales et la future forme d’infrastructure pour l’humanité ?

Karpathy affirme : Tout doit être réécrit.

Les documentations des frameworks et bibliothèques actuels sur Internet sont encore « écrites pour l’humain », ce qui l’agace profondément.

Karpathy se plaint : Pourquoi me dire comment faire ? Je ne veux rien faire. Dois-je simplement copier-coller du texte dans mon agent IA ?

Le grand marché d’avenir réside dans la construction d’une infrastructure « orientée agents ».

Dans ce monde, le système est décomposé en « capteurs » pour percevoir le monde et en « actionneurs » pour le transformer, avec des structures de données hautement lisibles par les grands modèles de langage, et des agents machine représentant individus et institutions pour interagir dans le cloud.

Dans un avenir aussi automatisé, la rareté fondamentale de l’humain reviendra à l’esthétique, au jugement et à la compréhension commerciale la plus profonde.

Karpathy cite une phrase qu’il répète souvent comme résumé : Vous pouvez externaliser votre pensée, mais vous ne pouvez pas externaliser votre compréhension.

L’ingénierie agentique : une explosion de productivité bien au-delà de « 10 fois celle d’un ingénieur »

Pour augmenter la productivité, le marché se concentre sur deux concepts clés : « vibe coding » et « ingénierie agentique ».

Il indique que « vibe coding » élève le seuil minimal de développement logiciel pour tous, tandis que « ingénierie agentique » vise à maintenir le plafond de qualité pour le logiciel professionnel.

« L’ingénierie agentique » ne se limite pas à accélérer, elle exige que les développeurs coordonnent des IA agents « un peu sujettes à erreur, avec une certaine stochasticité mais extrêmement puissantes », pour avancer à pleine vitesse sans sacrifier la qualité.

Cela ouvrira également de vastes horizons pour la production d’entreprises.

Karpathy précise : « On parle souvent d’un « ingénieur 10 fois plus productif », mais ce chiffre ne suffit pas pour décrire la vitesse d’accélération que l’on peut atteindre. À mon avis, ceux qui excellent dans ce domaine ont une production bien supérieure à 10 fois. »

Face à cette explosion de productivité, la structure organisationnelle et la sélection des talents dans les entreprises doivent être repensées.

Il recommande aux entreprises d’abandonner les méthodes traditionnelles d’entretien basées sur des algorithmes, pour évaluer comment les candidats utilisent plusieurs IA agents pour collaborer sur de grands projets, et leur capacité à résister aux attaques d’autres IA.

Points clés pour la mise en œuvre commerciale de l’IA

Pour les entrepreneurs et investisseurs cherchant à déployer rapidement des applications IA, Karpathy propose un cadre d’évaluation très pratique : la vérifiabilité.

Actuellement, les capacités de l’IA présentent une « courbe en dents de scie » très étrange.

Il donne l’exemple : Les modèles les plus avancés peuvent aujourd’hui reconstruire simultanément 100 000 lignes de code ou détecter des vulnérabilités zero-day, mais ils me disent d’aller faire laver ma voiture à 50 mètres, c’est complètement fou.

Cette fracture provient du fait que, dans les laboratoires de pointe (comme OpenAI), d’énormes ressources en apprentissage par renforcement sont concentrées sur des domaines où les résultats sont facilement vérifiables, comme « mathématiques » et « code ».

Ainsi, tant que l’on reste dans des scénarios commerciaux où les résultats peuvent être vérifiés, l’IA peut déployer tout son potentiel.

Karpathy suggère qu’il existe encore de nombreux environnements d’apprentissage par renforcement vérifiables à haute valeur, mais encore peu exploités par les grands laboratoires, ce qui représente une énorme opportunité pour les startups de faire du fine-tuning et de monétiser.

Lien de la vidéo originale

Cliquez pour découvrir comment BlockBeats rythme le recrutement

Rejoignez la communauté officielle de BlockBeats :

Groupe Telegram abonnements : https://t.me/theblockbeats

Groupe Telegram communautaire : https://t.me/BlockBeats_App

Compte officiel Twitter : https://twitter.com/BlockBeatsAsia