Je viens de regarder le replay de Demis Hassabis parlant à Y Combinator sur notre position réelle concernant l'AGI, et honnêtement, certaines analyses méritent d'être méditées un instant.

Donc voilà : selon le fondateur de DeepMind, nous disposons pratiquement déjà de la plupart des éléments architecturaux nécessaires pour l'AGI. La pré-formation à grande échelle, RLHF, le raisonnement en chaîne—ce sont probablement des composants qui feront partie de l'architecture finale. Mais il manque encore une ou deux pièces critiques. L'apprentissage continu, le raisonnement à long terme, et certains aspects de la mémoire restent non résolus. Son calendrier personnel ? Vers 2030. Si c'est même approximatif, cela change la façon dont vous devriez envisager tout projet à long terme que vous construisez aujourd'hui.

Ce qui a attiré mon attention, c'est le problème de "l'intelligence déchiquetée" qu'il a décrit. Les modèles actuels peuvent résoudre des problèmes mathématiques de niveau médaille d'or aux IMO, mais font ensuite des erreurs élémentaires en arithmétique sur une question différente. C'est comme si le processus de raisonnement avait de gigantesques angles morts. Il a donné un exemple d'échecs—parfois Gemini se rend compte qu'il s'apprête à faire un mauvais coup, mais le fait quand même parce qu'il ne trouve pas de meilleures alternatives. Un système véritablement intelligent ne devrait pas fonctionner ainsi. L'équipe de DeepMind pense que la correction de ce problème pourrait nécessiter seulement une ou deux améliorations spécifiques, mais c'est une lacune évidente.

Concernant les agents : Hassabis était assez direct—nous ne faisons que commencer. Tout le monde expérimente, mais nous n'avons pas encore vraiment trouvé les cas d'utilisation révolutionnaires. Il a mentionné que personne n'a créé un jeu AAA de haut niveau en utilisant des outils de codage IA, alors que c'est théoriquement possible avec les capacités actuelles. Il manque quelque chose dans les outils ou dans le processus. Il s'attend à voir de véritables avancées dans les applications d'agents dans 6 à 12 mois.

La discussion sur la mémoire était aussi fascinante. Les fenêtres de contexte d'un million de tokens semblent énormes jusqu'à ce que vous réalisiez que cela ne représente qu'environ 20 minutes de streaming vidéo. Et l'approche actuelle consiste essentiellement à bourrer tout dans ces fenêtres—données importantes et non importantes mélangées. Le cerveau le fait de façon élégante via les cycles de sommeil et la consolidation de la mémoire. DeepMind réfléchit à cela depuis l'époque de DQN en 2013, en s'inspirant des neurosciences, mais nous utilisons encore des méthodes grossières.

Du côté de la distillation : leur hypothèse est qu'en 6 à 12 mois après la sortie d'un modèle de pointe, ils pourront compresser ses capacités dans des modèles beaucoup plus petits qui tournent sur des appareils en périphérie. Ils n'ont pas encore atteint de limites théoriques. Les modèles Gemma en sont un bon exemple—Gemma 4 fonctionne exceptionnellement bien pour sa taille. Cela signifie que l'IA peut être rapide, efficace, et privée—fonctionnant localement sur votre téléphone ou robot plutôt que dans le cloud.

Ce qui m'a vraiment marqué, c'est son point sur les avancées scientifiques. AlphaFold a été énorme—trois millions de chercheurs dans le monde l'utilisent maintenant, et il paraît qu'il fera partie de presque tous les futurs processus de découverte de médicaments. Mais ce n'est que le début. Il l'appelle le "test d'Einstein" : pouvez-vous entraîner un système avec des connaissances de 1901 et le faire dériver indépendamment ce qu'Einstein a découvert en 1905 ? Une fois que cela fonctionne, nous approchons de systèmes capables d'inventer de nouvelles choses plutôt que de simplement résoudre des problèmes existants.

Pour les fondateurs, son conseil était clair : poursuivez des problèmes que vous seul pouvez résoudre si vous ne le faites pas. Ne cherchez pas la facilité. Et—ce qui est important—si vous lancez un projet de deep tech aujourd'hui qui doit durer dix ans, vous devez prendre en compte la possibilité que l'AGI apparaisse à mi-parcours. Réfléchissez à si votre projet peut fonctionner avec l'AGI, comment il s'intègre, s'il reste utile dans ce monde. Sa vision est celle de systèmes spécialisés comme AlphaFold, qui fonctionnent comme des outils que des modèles à usage général comme Gemini peuvent appeler, plutôt que tout concentré dans un seul modèle massif.

L'angle multimodal pour DeepMind est aussi intéressant. Construire Gemini multimodal dès le départ a été plus difficile au début, mais cela porte ses fruits maintenant—meilleurs modèles du monde, applications en robotique, intégration de la conduite autonome. Cela devient un avantage concurrentiel.

Dans l'ensemble, la conversation dressait le tableau d'une progression de l'IA rapide, mais avec encore des obstacles techniques précis à franchir. Nous ne faisons pas que scaler pour atteindre l'AGI—il y a de vrais problèmes à résoudre. Et pour quiconque construit dans cet espace, le calendrier est important. Réfléchissez à ce qui reste précieux lorsque le paysage change.