Je viens d'écouter le podcast de Y Combinator avec Demis Hassabis, et honnêtement, certaines de ses idées sur l'AGI et ce qui manque réellement aux modèles actuels m'ont marqué. Le gars réfléchit à ça depuis plus longtemps que presque tout le monde, et ce qui est fou, c'est à quel point sa perspective est ancrée dans la réalité—pas de hype, juste une évaluation pratique.

Donc voici ce qui m'a marqué : nous avons déjà la plupart des éléments. Pré-entraînement à grande échelle, RLHF, raisonnement en chaîne—ce sont presque certainement des composants de l'architecture finale de l'AGI. Mais il reste peut-être un ou deux écarts critiques. Apprentissage continu, raisonnement à long terme, systèmes de mémoire qui ne se contentent pas de bourrer tout dans des fenêtres de contexte comme si on utilisait du ruban adhésif. Son avis ? vers 2030 pour l'AGI, et honnêtement, cela change la façon dont vous devriez penser à construire des choses aujourd'hui.

Ce qui m'a vraiment interpellé, c'est son observation sur l'état actuel du raisonnement. Les modèles peuvent résoudre des problèmes que je qualifierais d'or pour la médaille d'or, mais échouent en mathématiques élémentaires selon la façon dont c'est formulé. Il y a ce problème d'intelligence fragmentée—le système manque quelque chose dans l'introspection de son propre processus de pensée. C'est comme regarder Gemini jouer aux échecs, réaliser qu'un coup est mauvais, mais le faire quand même parce qu'il ne peut pas raisonner pour trouver une meilleure option. Cela ne devrait pas arriver dans un système de raisonnement précis.

Concernant les agents, il est clair : on ne fait que commencer. Tout le monde hype autour des agents, mais le vrai travail, c'est de les rendre vraiment utiles, pas juste des démos. Il a mentionné quelque chose d'intéressant—personne n'a encore créé un jeu AAA à succès en utilisant du codage IA. Avec les outils actuels, c'est théoriquement possible, mais il manque encore quelque chose dans le processus ou dans les outils eux-mêmes. Il s'attend à voir ce changement dans 6 à 12 mois.

L'angle de la distillation est aussi fascinant. Leur hypothèse est qu'en 6 à 12 mois après la sortie d'un modèle de pointe, ils peuvent compresser ses capacités dans quelque chose qui fonctionne sur des appareils edge. Des modèles flash atteignant 95 % des performances de pointe à un dixième du coût. Et voici le truc—ils n'ont pas encore atteint de limite théorique en densité d'information. C'est énorme pour ce qui est possible avec des modèles plus petits.

Du côté des avancées scientifiques, il a parlé de ce qu'il appelle le « test Einstein ». Peut-on entraîner un système avec des connaissances jusqu'en 1901 et lui faire dériver indépendamment la relativité restreinte ? Une fois que ça marche, ces systèmes sont proches de l'invention réelle, pas juste du pattern matching. AlphaFold était le prototype—maintenant c'est standard dans la découverte de médicaments. Mais nous sommes encore au début pour la plupart des domaines.

Le conseil pour les fondateurs chez Y Combinator était précis : poursuivez des problèmes que vous seul pouvez résoudre. Si vous lancez un projet de deep tech aujourd'hui, vous devez intégrer l'AGI dans votre planification. Un projet de dix ans pourrait atteindre l'AGI en cours de route. Ne construisez pas quelque chose qui devient obsolète ; construisez quelque chose qui reste précieux dans un monde avec une AGI. Pensez à la façon dont des systèmes spécialisés comme AlphaFold s'intégreront avec des modèles à usage général en tant qu'outils, pas tout dans un seul modèle massif.

Une dernière chose qui m'a marqué—il a parlé du travail interdisciplinaire qui deviendra plus facile avec l'IA, et de la nécessité d'arrêter de penser à tout comme un seul cerveau unifié. Les outils spécialisés coexisteront avec des systèmes généraux. C'est probablement le cadre dans lequel il faut penser si vous construisez quelque chose aujourd'hui.