Le point de vue récent de Karpathy sur les agents : les grandes entreprises ne maîtrisent pas les technologies clés des agents, les développeurs individuels dominent la frontière.

Andrej Karpathy a récemment partagé son point de vue interne sur les agents, pointant directement la plus grande erreur dans le domaine de l'IA actuel : les gens forcent les agents à travailler, en ignorant complètement qu'ils devraient d'abord maîtriser parfaitement le modèle sous-jacent à grande échelle. AK a énoncé une conclusion contre-intuitive : actuellement, à la pointe des agents, on ne trouve pas les grandes entreprises, mais les développeurs indépendants et les entrepreneurs. La vidéo est jointe à la fin de l'article.

Dès 2016, OpenAI était déjà tombé dans ce piège, et en a payé le prix pendant cinq ans entiers.

Le message central que Karpathy veut transmettre : premièrement, il faut immédiatement cesser l'illusion que les agents peuvent tout faire, et d'abord comprendre le modèle sous-jacent. Deuxièmement, il faut reconnaître la réalité de l'industrie : faire une démonstration est extrêmement simple, mais créer un produit nécessite dix ans. La conduite autonome l'a déjà confirmé : si l'on saute la phase des fondations, tout ce qui est construit s'effondre instantanément. Troisièmement, il faut comprendre que l'agent lui-même n'est pas un produit ; le véritable cœur, c'est le modèle de base à grande échelle. Tant que l'on pose de bonnes bases, les agents émergeront naturellement.

En revenant sur son expérience chez OpenAI en 2016, Karpathy, avec Tim Shi et Jim Fan, a participé à un projet nommé World of Bits. Leur objectif initial était de faire en sorte que les agents d'apprentissage par renforcement sortent des tests de jeux vidéo, ne jouent plus à Montezuma's Revenge, mais tentent plutôt d'utiliser un ordinateur, un clavier et une souris.

Ils espéraient que l'agent pourrait exécuter des tâches quotidiennes réellement utiles, comme réserver un billet d'avion ou commander un repas sur une page web extrêmement simple. À l'époque, ils faisaient cliquer frénétiquement l'IA sur les boutons de la souris et du clavier, espérant par hasard pénétrer dans un monde intelligent plus avancé. Le résultat fut évident : le projet a totalement échoué.

À l'époque, la technologie n'était tout simplement pas prête ; la seule marteau dont disposait l'équipe était l'apprentissage par renforcement. Ce qu'il fallait faire à ce moment-là, c'était oublier complètement les agents d'IA et concentrer tous les efforts sur la construction de modèles de langage.

Cinq ans plus tard, après une brève incursion dans le domaine de la conduite autonome, Karpathy a découvert que les agents d'IA étaient redevenus le sujet brûlant de l'industrie, mais que toute la chaîne d'outils avait radicalement changé. Aujourd'hui, la manière de résoudre ces problèmes est complètement reconstruite ; les développeurs d'agents n'ont probablement besoin d'aucune technique d'apprentissage par renforcement. Cette évolution a dépassé toutes les prévisions.

Aujourd'hui, tout le monde est en pleine frénésie pour les agents, car il est facile de faire le lien : l'intelligence générale artificielle finira par se présenter sous une forme d'agent d'IA. À l'avenir, il y aura probablement des essaims d'agents, voire de vastes organisations ou civilisations d'entités numériques. Cela semble effectivement enthousiasmant.

Face à cette frénésie, Karpathy choisit de jeter un seau d'eau froide. Il existe une grande catégorie de problèmes où il est facile de laisser libre cours à son imagination et de faire des démonstrations impressionnantes, mais les transformer en véritables produits est extrêmement difficile.

La conduite autonome en est un exemple typique. Imaginer une voiture qui fait le tour du quartier toute seule et en faire une démonstration est très facile, mais en faire un produit réellement déployable demande dix ans. Le domaine de la VR est pareil. Les agents correspondent parfaitement à cette caractéristique : imaginer et faire une démonstration est simple, mais pour qu'ils fonctionnent réellement, les développeurs doivent se préparer à un engagement de dix ans.

Pour trouver de nouvelles idées, Karpathy suggère de puiser à nouveau dans les neurosciences. C'est ce qui a été fait au début de l'apprentissage profond ; aujourd'hui, développer des agents peut tout à fait s'inspirer du fonctionnement du cerveau.

Une entité numérique complète doit posséder tous les outils cognitifs que possèdent les humains. Outre le modèle de langage qui fait partie de la solution, il faut un assistant interne pour planifier à l'avance et réfléchir aux actions.

La structure du cerveau fournit un plan de référence parfait. L'équivalent de l'hippocampe dans un agent d'IA est l'enregistrement des traces de mémoire, en utilisant la technologie d'incorporation vectorielle pour l'indexation et la récupération. Nous savons à peu près comment construire le cortex visuel et auditif d'une entité numérique ; le rôle du thalamus mérite également réflexion. Le thalamus est responsable de l'intégration de toutes les informations, on peut dire qu'il est le siège de la conscience. Lorsque plusieurs entités numériques se disputent le contrôle et le micro pour décider de la prochaine action, c'est le thalamus qui gère ce conflit complexe. Karpathy recommande particulièrement le livre "The Brain and the Behavior" de David Eagleman, estimant que les neurosciences regorgent d'inspirations pour concevoir des individus numériques.

Enfin, Karpathy a partagé un état de l'industrie extrêmement disruptif.

Ceux qui sont actuellement à la pointe des capacités des agents d'IA sont, sans aucun doute, les développeurs indépendants et les entrepreneurs qui construisent actuellement des agents. Des laboratoires de modèles de langage à grande échelle comme OpenAI ou DeepMind ne sont pas à la pointe dans la course aux agents pour le moment.

OpenAI est très doué pour entraîner d'énormes modèles de langage Transformer. Si un article proposait une toute nouvelle méthode d'entraînement de Transformer, il est probable qu'OpenAI l'ait déjà essayée deux ans et demi auparavant, et sache clairement pourquoi elle a réussi ou échoué. Les grandes entreprises ont une barrière technologique absolue dans ce domaine.

Quand un article sur un nouveau type d'agent est publié, la situation est complètement différente. Les équipes des grandes entreprises trouvent également cela impressionnant, car elles n'ont pas secrètement développé cette branche spécifique pendant cinq ans. Cela signifie que les géants doivent concurrencer tous les entrepreneurs de base et les hackers sur cette piste.

Pour les développeurs ordinaires qui travaillent actuellement sur des agents, vous êtes à la pointe de cette technologie transformatrice.

Source de cet article : IA Cambrien

Avertissement sur les risques et clause de non-responsabilité

        Le marché comporte des risques, investissez avec prudence. Cet article ne constitue pas un conseil d'investissement personnel et ne tient pas compte des objectifs d'investissement, de la situation financière ou des besoins particuliers de chaque utilisateur. Les utilisateurs doivent déterminer si les opinions, points de vue ou conclusions de cet article correspondent à leur situation spécifique. Tout investissement effectué sur cette base relève de la seule responsabilité de l'investisseur.