Interview avec le co-fondateur d'OpenAI, Karpathy : les LLM sont de nouveaux types d'ordinateurs, tout doit être « réécrit »

Titre de la vidéo originale : Andrej Karpathy : Du codage Vibe à l’ingénierie agentique

Source de la vidéo originale : Sequoia Capital
Traduction originale : Bao Yilong, Wallstreet Jingwen

Andrej Karpathy, co-fondateur d’OpenAI, indique dans sa dernière interview que, les grands modèles de langage sont en train de remodeler complètement l’architecture informatique en tant que « nouvelle machine ».

Le 29 avril, Andrej Karpathy, figure clé ayant dirigé le développement de l’Autopilot de Tesla et occupant une position influente chez OpenAI, a analysé en profondeur lors d’un événement organisé par AI Sent, la transition technologique des agents IA et leur impact profond sur l’écosystème logiciel et matériel.

Karpathy explique qu’à partir de décembre dernier, il a commencé à réaliser que le flux de travail centré sur les agents était désormais réellement opérationnel, marquant l’arrivée concrète de l’ère Software 3.0.

Il déclare : Beaucoup de gens avaient encore en tête l’image de ChatGPT l’année dernière, mais il faut revoir cette perception, surtout depuis décembre — la situation a changé de manière fondamentale.

Il a également introduit le concept innovant d’« ingénierie agentique » (agentic engineering), pour distinguer cette nouvelle approche de ce qu’il appelait l’« ambiance coding » (vibe coding) l’année dernière, cette dernière étant une extension et accélération des standards de qualité dans le développement logiciel professionnel.

Il affirme franchement que de nombreux codes et applications existants « ne devraient pas exister » sous ce nouveau paradigme, et que la majorité des processus de recrutement, outils de développement et infrastructures actuels sont encore conçus pour l’humain, et non pour les agents.

L’aube du Software 3.0 : la transition du pouvoir dans l’architecture informatique fondamentale

L’industrie technologique se trouve à un carrefour entre une simple évolution quantitative et une transformation qualitative.

Décembre dernier a été un tournant crucial, confie Karpathy, qui a été profondément secoué par les derniers modèles IA :

Les blocs de code générés par système deviennent de plus en plus parfaits, je ne me souviens même plus de la dernière fois que je l’ai modifié. Je fais de plus en plus confiance à ce système… (ce qui me fait sentir) aussi dépassé que jamais en tant que programmeur.

Ce choc représente une révolution complète de la paradigme de calcul. Selon Karpathy, le marché sous-estime encore la profondeur de ce changement.

Il souligne que nous sommes en train de dire adieu au « logiciel 1.0 (écriture de code) » et au « logiciel 2.0 (organisation de jeux de données pour entraîner des réseaux neuronaux) », pour entrer officiellement dans l’ère du « logiciel 3.0 ».

Dans cette nouvelle ère, les grands modèles de langage eux-mêmes deviennent une « nouvelle machine ».

Il explique : La programmation consiste désormais à rédiger des prompts, et le contenu dans la fenêtre contextuelle est le levier pour manipuler ce grand modèle de langage en tant qu’interpréteur, lui permettant d’effectuer des calculs dans l’espace de l’information numérique.

Ce qui attire encore plus l’attention du marché, c’est sa prédiction audacieuse sur l’évolution future de l’architecture matérielle sous-jacente.

Actuellement, les réseaux neuronaux fonctionnent encore virtualisés sur des ordinateurs existants, mais il pense que cette relation entre le sujet et l’objet va s’inverser à l’avenir : on peut imaginer que les réseaux neuronaux deviendront le processus principal, tandis que le CPU se transformera en un type de coprocesseur. Les réseaux neuronaux prendront en charge la majorité des tâches lourdes.

Cela signifie que, dans le futur, la « puissance de calcul intelligente » qui domine les dépenses en capital du marché entier verra son rôle stratégique encore renforcé.

La nouvelle infrastructure : reconstruire l’écosystème « natif des agents »

Lorsque l’exécution et la programmation seront prises en charge par des machines, quelles seront les valeurs fondamentales et la forme future de l’infrastructure humaine ?

Karpathy affirme : Tout doit être réécrit.

Les documentations des frameworks et bibliothèques Internet actuels sont encore « écrites pour l’humain », ce qui l’agace profondément.

Karpathy se plaint : Pourquoi me dire comment faire ? Je ne veux rien faire. Dois-je simplement copier-coller du texte dans mon agent IA ?

Le grand marché de demain réside dans la construction d’une infrastructure « orientée agents ».

Dans ce monde, le système sera décomposé en « capteurs » pour percevoir le monde et en « actionneurs » pour le transformer, avec des structures de données hautement lisibles par les grands modèles de langage, et des agents machine représentant individus et institutions pour interagir dans le cloud.

Dans un avenir aussi automatisé, la rareté fondamentale de l’humain reviendra à l’esthétique, au jugement et à la compréhension commerciale la plus profonde.

Karpathy cite une phrase qu’il répète souvent comme résumé : Vous pouvez externaliser votre pensée, mais vous ne pouvez pas externaliser votre compréhension.

L’ingénierie agentique : une explosion de productivité bien au-delà de « 10 fois celle d’un ingénieur »

Pour augmenter la productivité, le marché se concentre sur deux concepts clés : « vibe coding » et « ingénierie agentique ».

Il indique que « vibe coding » a permis d’abaisser le seuil de développement logiciel pour tous, tandis que « l’ingénierie agentique » vise à maintenir le plafond de qualité pour les logiciels professionnels.

« L’ingénierie agentique » ne se limite pas à accélérer, elle exige que les développeurs coordonnent ces « agents IA puissants, parfois sujets à erreur et avec une certaine stochasticité », pour avancer à pleine vitesse sans sacrifier la qualité.

Cela ouvrira également de vastes horizons pour la production d’entreprises.

Karpathy précise : « On parlait autrefois de 10 fois la productivité d’un ingénieur », mais 10 fois ne suffit plus pour décrire la vitesse d’accélération que l’on observe. À mon avis, ceux qui excellent dans ce domaine dépassent largement ce chiffre.

Face à cette explosion de productivité, la structure organisationnelle et la sélection des talents dans les entreprises doivent être repensées.

Il recommande aux entreprises d’abandonner les méthodes traditionnelles d’entretien basées sur des algorithmes, pour évaluer comment les candidats utilisent plusieurs agents IA pour collaborer sur de grands projets, tout en résistant aux attaques d’autres agents IA.

Les points clés pour la mise en œuvre commerciale de l’IA

Pour les entrepreneurs et investisseurs cherchant à déployer rapidement des applications IA, Karpathy propose un cadre d’évaluation très pratique : la vérifiabilité.

Actuellement, les capacités de l’IA présentent une « courbe en dents de scie » très étrange.

Il donne l’exemple : Les modèles les plus avancés peuvent aujourd’hui reconstruire simultanément 100 000 lignes de code ou détecter des vulnérabilités zero-day, mais ils me disent d’aller faire laver ma voiture à 50 mètres, c’est complètement fou.

Cette fracture provient du fait que les laboratoires de pointe (comme OpenAI) concentrent leurs ressources en apprentissage par renforcement massif sur des domaines où les résultats sont facilement vérifiables, comme « mathématiques » et « code ».

Ainsi, tant que l’on reste dans des scénarios commerciaux où les résultats sont vérifiables, l’IA peut déployer toute sa puissance.

Karpathy suggère qu’il existe encore sur le marché de nombreux environnements d’apprentissage par renforcement vérifiables à haute valeur, mais encore peu exploités par les grands laboratoires, ce qui représente une énorme opportunité pour les startups de faire du fine-tuning et de monétiser.

Lien de la vidéo originale

Cliquez pour découvrir comment BlockBeats rythme ses recrutements

Rejoignez la communauté officielle de BlockBeats :

Groupe Telegram : https://t.me/theblockbeats

Groupe de discussion Telegram : https://t.me/BlockBeats_App

Compte officiel Twitter : https://twitter.com/BlockBeatsAsia