Interview avec le fondateur de DeepMind : architecture de l'AGI, état actuel des Agents et la prochaine percée scientifique dans la décennie

Titre original de la vidéo : Demis Hassabis : Agents, AGI & La prochaine grande avancée scientifique

Source originale de la vidéo : Y Combinator
Traduction originale : Deep潮 TechFlow

Introduction éditoriale

Le PDG de Google DeepMind, lauréat du prix Nobel de chimie Demis Hassabis, invité chez Y Combinator, évoque les progrès clés vers l’AGI, donne des conseils aux entrepreneurs pour rester en tête, et discute de l’endroit où pourrait apparaître la prochaine grande avancée scientifique.

La règle la plus pratique pour les entrepreneurs en deep tech est que si vous lancez aujourd’hui un projet deep tech sur dix ans, vous devez intégrer l’émergence de l’AGI dans votre planification. Il a aussi révélé qu’Isomorphic Labs (une société pharmaceutique d’IA issue de DeepMind) aura bientôt une grande annonce.

Citations clés

Feuille de route et calendrier de l’AGI

· « Ces composants technologiques existants seront presque certainement intégrés dans l’architecture finale de l’AGI. »

· « L’apprentissage continu, le raisonnement à long terme, certains aspects de la mémoire ne sont pas encore résolus, l’AGI doit tout maîtriser. »

· « Si votre calendrier pour l’AGI est autour de 2030, comme le mien, et que vous lancez un projet deep tech aujourd’hui, vous devez prévoir que l’AGI pourrait apparaître en cours de route. »

Mémoire et fenêtre de contexte

· « La fenêtre de contexte correspond à peu près à la mémoire de travail. La mémoire de travail humaine ne comporte en moyenne que sept chiffres, alors que nous disposons d’une fenêtre de contexte de millions, voire dizaines de millions de tokens. Mais le problème, c’est que nous y mettons tout, y compris des informations non importantes ou erronées, ce qui est une approche assez brutale. »

· « Si l’on veut traiter un flux vidéo en temps réel et y stocker tous les tokens, un million de tokens ne suffirait qu’à environ 20 minutes. »

Les défauts du raisonnement

· « J’aime jouer aux échecs avec Gemini. Parfois, il se rend compte qu’un coup est mauvais, mais ne trouve pas mieux, il tourne en rond et finit par le jouer quand même. Un système de raisonnement précis ne devrait pas faire ça. »

· « Il peut résoudre des problèmes de niveau médaille d’or à l’IMO, mais poser la même question autrement lui fait faire des erreurs de mathématiques élémentaires. Il semble manquer quelque chose dans l’introspection de sa propre réflexion. »

Agent et créativité

· « Pour atteindre l’AGI, il faut un système capable de résoudre activement des problèmes pour vous. L’agent est la voie, je pense que nous ne faisons que commencer. »

· « Je n’ai pas encore vu de jeu AAA en tête des ventes utilisant le coding vibe. Avec l’effort actuel, c’est probablement possible, mais cela ne s’est pas encore produit. Il manque quelque chose dans l’outil ou le processus. »

Distillation et petits modèles

· « Notre hypothèse est qu’un modèle Pro de pointe, publié tous les six mois à un an, peut voir ses capacités compressées dans un modèle très petit, capable de fonctionner sur des appareils en périphérie. Nous n’avons pas encore atteint la limite théorique de densité d’information. »

Découvertes scientifiques et « test d’Einstein »

· « Parfois, je l’appelle le « test d’Einstein », c’est-à-dire : peut-on entraîner un système avec des connaissances de 1901, puis le faire déduire de manière autonome les résultats d’Einstein en 1905, y compris la relativité restreinte ? Si c’est possible, ces systèmes ne sont pas loin d’inventer de nouvelles choses. »

· « Résoudre un problème du Millennium Prize est déjà une grande réussite. Mais plus difficile encore, c’est de proposer une nouvelle question du Millennium, que des mathématiciens de premier plan jugent aussi profonde et digne d’une vie de recherche. »

Conseils pour la deep tech

· « Poursuivre des problèmes difficiles ou simples revient au même, la seule différence étant la difficulté de la méthode. La vie est courte, autant concentrer ses efforts sur ce qui n’aura été fait par personne d’autre. »

Chemin vers l’AGI

Gary Tan : Tu réfléchis à l’AGI depuis presque plus longtemps que tout le monde. Selon le paradigme actuel, combien de structures finales d’AGI penses-tu que nous possédons déjà ? Qu’est-ce qui manque fondamentalement ?

Demis Hassabis : La pré-formation à grande échelle, RLHF, la chaîne de pensée, je suis convaincu qu’ils feront partie de l’architecture finale de l’AGI. Ces techniques ont déjà prouvé beaucoup de choses. Je ne peux pas imaginer qu’en deux ans, on découvrira que c’est une impasse. Ce n’est pas mon avis. Mais il manque probablement une ou deux choses, comme l’apprentissage continu, le raisonnement à long terme, certains aspects de la mémoire, qui ne sont pas encore résolus.

L’AGI doit tout maîtriser. Peut-être que les techniques existantes, avec quelques innovations progressives, suffiront à atteindre ce niveau, mais il reste probablement un ou deux points clés à franchir. Je ne pense pas que ce soit plus de deux ou trois. Mon estimation est que la probabilité qu’il y ait encore des questions fondamentales non résolues est d’environ 50/50. Chez DeepMind, nous avançons sur deux axes.

Gary Tan : Je travaille avec beaucoup de systèmes d’agents, et ce qui me surprend le plus, c’est que la base revient toujours aux mêmes poids. Donc, le concept d’apprentissage continu est très intéressant, car aujourd’hui, on fait souvent des bricolages temporaires, comme ces « cycles de rêves nocturnes ».

Demis Hassabis : Exactement, ces cycles de rêves sont fascinants. Nous avons déjà réfléchi à cette question dans l’intégration de la mémoire contextuelle. Mon doctorat portait sur la façon dont l’hippocampe intègre élégamment de nouvelles connaissances dans un système de connaissances existant. Le cerveau le fait très bien.

Il réalise ce processus pendant le sommeil, notamment lors du sommeil paradoxal (REM sleep), en rejouant ses expériences importantes pour apprendre. Notre premier programme Atari, DQN (DeepMind, 2013, premier réseau Q profond utilisant l’apprentissage par renforcement profond pour atteindre le niveau humain sur Atari), maîtrisait les jeux Atari grâce à une technique clé : la mémoire d’expérience (experience replay).

Ce que nous avons appris en neurosciences, c’est de rejouer en boucle les chemins qui ont réussi. C’était en 2013, une époque ancienne en IA, mais c’était crucial à l’époque.

Je suis d’accord avec toi, aujourd’hui, on fait effectivement du bricolage. On met tout dans la fenêtre de contexte. Ça ne me paraît pas optimal. Même si on construit une machine ou un cerveau biologique, en théorie, on pourrait avoir une fenêtre de contexte de millions ou dizaines de millions de tokens, et une mémoire parfaite, mais la recherche et la récupération restent coûteuses. En situation de décision immédiate, trouver l’information vraiment pertinente n’est pas simple, même si on peut tout stocker. Je pense qu’il y a encore beaucoup d’innovation à faire dans le domaine de la mémoire.

Gary Tan : Franchement, une fenêtre de contexte de 1 million de tokens me paraît déjà énorme, et permet beaucoup de choses.

Demis Hassabis : Pour la majorité des cas d’usage, c’est suffisant. Mais réfléchissez : la fenêtre de contexte correspond à peu près à la mémoire de travail. La mémoire de travail humaine ne comporte en moyenne que sept chiffres, alors que nous disposons d’une fenêtre de contexte de millions, voire dizaines de millions de tokens. Le problème, c’est que nous y mettons tout, y compris des informations non importantes ou erronées, ce qui est une approche assez brutale.

Et si vous traitez un flux vidéo en temps réel et que vous enregistrez tous les tokens, un million de tokens ne suffirait qu’à environ 20 minutes. Mais si vous voulez que le système comprenne votre vie sur un ou deux mois, ce n’est pas du tout suffisant.

Gary Tan : DeepMind a toujours misé sur l’apprentissage par renforcement et la recherche. Dans le cadre de Gemini, à quel point cette philosophie est-elle intégrée ? L’apprentissage par renforcement est-il encore sous-estimé ?

Demis Hassabis : Peut-être, oui. L’intérêt pour cette approche a connu des hauts et des bas. Depuis la création de DeepMind, nous travaillons sur les systèmes d’agents. Tout le travail sur Atari et AlphaGo, c’est essentiellement de l’apprentissage par renforcement agent, capable de fixer ses objectifs, de prendre des décisions et de planifier de façon autonome. Au début, on s’est concentrés sur les jeux, parce que leur complexité est contrôlable, puis on a progressé vers des jeux plus complexes, comme AlphaStar après AlphaGo, en touchant à presque tous les jeux possibles.

Ensuite, la question est : peut-on généraliser ces modèles en modèles du monde ou en modèles de langage, et pas seulement en modèles de jeux ? Nous travaillons là-dessus depuis plusieurs années. Aujourd’hui, la façon dont les modèles de pointe pensent et raisonnent, c’est en gros la réintroduction de ce que AlphaGo a initié.

Je pense que beaucoup de nos travaux passés sont très liés à ce que nous faisons aujourd’hui, en utilisant des échelles plus grandes et des méthodes plus générales, comme la recherche par Monte Carlo (Monte Carlo tree search) et d’autres techniques d’apprentissage par renforcement. Les idées d’AlphaGo et d’AlphaZero sont très proches des modèles fondamentaux d’aujourd’hui, et je pense que beaucoup de progrès dans les années à venir viendront de là.

Distillation et petits modèles

Gary Tan : Aujourd’hui, pour être plus intelligent, il faut des modèles plus grands, mais la distillation progresse aussi, et les petits modèles deviennent très rapides. Vos modèles Flash sont très puissants, atteignant environ 95 % des performances des modèles de pointe, pour un dixième du prix, c’est ça ?

Demis Hassabis : Je pense que c’est l’un de nos principaux atouts. Il faut d’abord construire le plus grand modèle pour atteindre la pointe, puis on peut rapidement distiller ses capacités dans des modèles de plus en plus petits. La distillation, c’est une technique que nous avons inventée, et que nous maîtrisons toujours. Nous avons une forte motivation commerciale pour cela. Nous sommes probablement la plus grande plateforme d’applications IA au monde.

Avec AI Overviews, AI Mode, et Gemini, chaque produit de Google, comme Maps ou YouTube, intègre Gemini ou des technologies associées. Cela concerne des milliards d’utilisateurs, et plusieurs produits comptant des milliards d’utilisateurs. Ils doivent être extrêmement rapides, efficaces, peu coûteux, avec une latence minimale. Cela nous pousse à optimiser au maximum nos modèles Flash et Flash-Lite, pour qu’ils soient très performants, afin de servir au mieux nos utilisateurs.

Gary Tan : Je suis curieux de savoir jusqu’où ces petits modèles peuvent aller. La distillation a-t-elle une limite ? Un modèle de 50 milliards ou 400 milliards de paramètres peut-il être aussi intelligent que les modèles de pointe actuels ?

Demis Hassabis : Je ne pense pas que nous ayons atteint la limite en termes d’information théorique, du moins personne ne le sait encore. Peut-être qu’un jour, on rencontrera un plafond en densité d’information, mais pour l’instant, notre hypothèse est qu’un modèle Pro de pointe, publié, pourra être compressé en un modèle très petit, capable de fonctionner sur des appareils en périphérie, dans six mois à un an.

Vous pouvez voir cela aussi avec Gemma, notre modèle Gemma 4, qui performe très bien à taille équivalente. Tout cela repose sur de nombreuses techniques de distillation et d’optimisation de l’efficacité des petits modèles. Je ne vois pas de limite théorique à ce stade, et je pense que nous sommes encore très loin de cette limite.

Gary Tan : Il y a une tendance très étonnante : le volume de travail que peuvent faire les ingénieurs a été multiplié par 500 à 1000 en six mois. Certains ici réalisent en quelques mois ce qu’un ingénieur Google aurait mis 10 ans à faire dans les années 2000. Steve Yegge en a parlé.

Demis Hassabis : Je trouve ça passionnant. Les petits modèles ont de nombreuses applications. L’un d’eux est le coût, qui est faible, et la rapidité, qui est aussi un avantage. En codant ou en effectuant d’autres tâches, on peut itérer plus vite, surtout en collaboration avec ces systèmes. Un système rapide, même s’il n’est pas à la pointe, disons à 90-95 %, suffit largement, et la vitesse d’itération compense largement cette différence.

Un autre axe majeur est de faire tourner ces modèles sur des appareils en périphérie, non seulement pour l’efficacité, mais aussi pour la confidentialité et la sécurité. Imaginez des appareils traitant des données très personnelles, ou des robots domestiques. Vous voudriez que votre robot chez vous fasse tourner un modèle puissant localement, et n’envoie les tâches vers le cloud que dans des cas spécifiques. Le traitement audio et vidéo en local, avec des données stockées localement, pourrait devenir la norme ultime.

Mémoire et raisonnement

Gary Tan : Revenir à la mémoire contextuelle. Les modèles sont actuellement sans état. Si on leur donne la capacité d’apprentissage continu, à quoi ressemblerait l’expérience utilisateur ? Comment les guider dans cette direction ?

Demis Hassabis : C’est une question très intéressante. Le manque d’apprentissage continu est une limite clé pour que les agents accomplissent des tâches complètes. Aujourd’hui, ils sont utiles pour des sous-ensembles de tâches, mais ne s’adaptent pas bien à leur environnement spécifique. C’est pourquoi ils ne peuvent pas encore « lancer et oublier ». Il faut qu’ils apprennent leur contexte précis. Pour une intelligence vraiment générale, ce problème doit être résolu.

Gary Tan : Où en est le raisonnement ? La chaîne de pensée est très forte, mais ils font encore des erreurs que des étudiants en mathématiques élémentaires ne feraient pas. Quelles améliorations prévois-tu ? Quelles avancées en raisonnement attends-tu ?

Demis Hassabis : Il y a encore beaucoup de place pour l’innovation dans la paradigme de la pensée. Ce que nous faisons reste assez rudimentaire, assez brutal. On peut améliorer beaucoup de choses, comme surveiller la chaîne de pensée, intervenir en cours de réflexion. Je pense que, qu’il s’agisse de nos systèmes ou de ceux de nos concurrents, ils ont tendance à trop réfléchir, à entrer dans des boucles.

J’aime parfois observer Gemini jouer aux échecs. Tous les modèles fondamentaux de pointe sont assez faibles dans ce domaine, ce qui est intéressant.

Regarder leur trajectoire de réflexion est précieux, car les échecs sont un domaine bien compris. Je peux rapidement voir s’ils s’écartent du bon chemin ou si leur raisonnement est valide. Souvent, ils envisagent un coup, réalisent qu’il est mauvais, mais ne trouvent pas mieux, et finissent par le jouer. Un système de raisonnement précis ne devrait pas faire ça.

Ce décalage énorme existe encore, mais le réparer ne demanderait probablement qu’un ou deux ajustements. C’est pour ça qu’on parle de « l’intelligence en dents de scie » (jagged intelligence) : capable de résoudre des problèmes de niveau médaille d’or à l’IMO, mais commettant des erreurs élémentaires si on reformule la question. Il semble qu’il manque encore quelque chose dans l’introspection de leur propre pensée.

Capacité réelle de l’agent

Gary Tan : L’agent est un sujet vaste. Certains disent que c’est du marketing. Moi, je pense que c’est juste le début. Quelles sont, selon toi, les véritables capacités des agents, d’après ce que vous voyez chez DeepMind, et quelle différence avec la communication extérieure ?

Demis Hassabis : Je suis d’accord, c’est juste le début. Pour atteindre l’AGI, il faut un système capable de résoudre activement des problèmes pour vous. C’est évident pour nous depuis le début. L’agent est la voie, je pense que nous ne faisons que commencer.

Nous explorons encore comment faire collaborer efficacement ces agents. Nous avons beaucoup expérimenté en interne, et je suppose que beaucoup ici aussi. Comment intégrer l’agent dans le flux de travail, pour qu’il ne soit pas juste un gadget, mais qu’il fasse vraiment des choses fondamentales ? Nous sommes encore en phase d’expérimentation. Ce n’est que récemment, en deux ou trois mois, que nous avons commencé à identifier des scénarios vraiment précieux. La technologie est à un stade où ce n’est plus une simple démo, mais une vraie valeur pour votre temps et votre efficacité.

Je vois souvent des gens lancer une trentaine d’agents, les faire tourner pendant des dizaines d’heures, mais je ne suis pas sûr que le résultat justifie l’investissement.

Nous n’avons pas encore vu de jeu AAA en tête des ventes utilisant le vibe coding. J’ai moi-même écrit quelques démos, et beaucoup ici en ont fait aussi. Je peux faire un prototype de « Theme Park » en une demi-heure, alors qu’à 17 ans, j’avais mis six mois pour le faire.

J’ai le sentiment qu’en consacrant tout un été, on pourrait créer quelque chose d’incroyable. Mais cela demande aussi de l’artisanat, de la créativité humaine, du goût. Il faut que ces qualités imprègnent tout produit. Aucun petit n’a encore sorti un jeu à plus de dix millions d’exemplaires, mais avec les outils actuels, c’est tout à fait possible. Il manque peut-être quelque chose dans le processus ou dans les outils. Je prévois que dans 6 à 12 mois, on verra des résultats concrets.

Gary Tan : Dans quelle mesure cela sera-t-il totalement automatisé ? Je ne pense pas que ce sera dès le départ. La voie probable, c’est que d’abord, on atteigne une productivité 1000 fois supérieure, puis que certains utilisent ces outils pour créer des applications ou jeux à succès, et que l’automatisation complète viendra ensuite.

Demis Hassabis : Exactement, c’est ce que tu devrais voir en premier.

Gary Tan : Il y a aussi une part de vérité : certains font déjà ça, mais ils ne veulent pas dire combien l’agent leur a aidés.

Demis Hassabis : Peut-être. Mais je veux parler de créativité. Je prends souvent l’exemple d’AlphaGo, notamment le coup 37 de la partie 2. Pour moi, j’attendais ce genre de moment, et c’est ce qui m’a poussé à lancer des projets comme AlphaFold. Dès le lendemain de leur victoire à Séoul, on a commencé à travailler sur AlphaFold, il y a dix ans. Je suis allé en Corée pour célébrer le dixième anniversaire d’AlphaGo.

Mais sortir le coup 37 seul ne suffit pas. C’est impressionnant, utile, mais est-ce que ce système peut inventer le jeu de go lui-même ? Si on lui donne une description de haut niveau, comme « un jeu qu’on peut apprendre en cinq minutes, mais qu’on ne maîtrisera jamais complètement, avec une esthétique élégante, qu’on peut finir en un après-midi », et que le système retourne le résultat « c’est le go », alors qu’il n’a pas été spécifiquement entraîné pour ça, ce serait une vraie percée.

Gary Tan : Peut-être que certains ici peuvent y arriver.

Demis Hassabis : Si quelqu’un y parvient, ce n’est pas que le système manque de capacités, mais que notre façon de l’utiliser est incorrecte. Peut-être que le système a déjà cette capacité, mais qu’il faut un créateur exceptionnel pour le guider, lui insuffler une âme dans le projet, et que cette personne doit être très proche de l’outil, presque fusionnée avec lui. Si vous passez votre temps à manipuler ces outils avec une créativité profonde, vous pourriez faire des choses incroyables.

Open source et modèles multimodaux

Gary Tan : Changeons de sujet, parlons open source. La sortie de Gemma permet de faire tourner des modèles très puissants localement. Qu’en penses-tu ? L’IA deviendra-t-elle quelque chose que l’utilisateur contrôle lui-même, plutôt que de rester principalement dans le cloud ? Cela changera-t-il qui peut créer des produits avec ces modèles ?

Demis Hassabis : Nous sommes de fervents supporters de l’open source et de la science ouverte. AlphaFold a été entièrement rendu gratuit. Nos travaux scientifiques sont toujours publiés dans des revues de premier plan. Pour Gemma, nous voulons créer des modèles de classe mondiale à taille comparable. Actuellement, Gemma a été téléchargé environ 40 millions de fois en deux semaines et demie.

Je pense aussi qu’il est important d’avoir une infrastructure open source dans la tech occidentale. La scène open source chinoise est très forte, elle mène actuellement, mais nous pensons que Gemma est très compétitive à taille équivalente.

Pour nous, il y a aussi une question de ressources : personne n’a assez de puissance de calcul pour faire deux modèles de pointe à taille complète. Notre décision actuelle est d’utiliser des modèles en périphérie pour Android, lunettes, robots, etc., en les rendant open source, car une fois déployés sur un appareil, ils sont exposés, il vaut mieux donc tout ouvrir. Nous avons adopté une stratégie d’ouverture unifiée à l’échelle nanométrique, ce qui a du sens stratégiquement.

Gary Tan : Avant la présentation, je t’ai montré un système d’exploitation IA que j’ai construit, avec lequel je peux interagir vocalement avec Gemini. Je suis un peu nerveux de faire cette démo, mais ça a marché. Gemini a été conçu dès le départ comme un système multimodal. J’ai testé beaucoup de modèles, et l’interaction vocale avec compréhension contextuelle et capacité d’appel aux outils est inégalée.

Demis Hassabis : Exact. Un avantage encore peu reconnu de Gemini, c’est que nous l’avons construit dès le départ en mode multimodal. Cela a rendu le démarrage plus difficile que pour un simple texte, mais nous croyons que cela portera ses fruits à long terme, et on commence déjà à en voir les bénéfices.

Par exemple, dans le domaine des modèles du monde, nous avons construit Genie (un modèle d’environnement interactif génératif développé par DeepMind) sur Gemini. Dans la robotique aussi, Gemini Robotics s’appuiera sur des modèles multimodaux, ce qui constituera une barrière à l’entrée pour la concurrence. Nous utilisons aussi de plus en plus Gemini chez Waymo (filiale de Google spécialisée dans la conduite autonome).

Imaginez un assistant numérique qui vous accompagne dans le monde réel, sur votre téléphone ou vos lunettes, capable de comprendre votre environnement physique. Notre système est très fort dans ce domaine. Nous continuerons à investir dans cette voie, car notre avance dans ces questions est considérable.

Gary Tan : Le coût du raisonnement diminue rapidement. Quand le raisonnement devient presque gratuit, qu’est-ce qui devient possible ? Vos priorités d’optimisation changent-elles ?

Demis Hassabis : Je ne suis pas sûr que le raisonnement devienne vraiment gratuit, le paradoxe de Jevons (Jevons’ Paradox, où l’amélioration de l’efficacité entraîne une augmentation de la consommation totale) est là. Je pense que tout le monde finira par utiliser toute la puissance de calcul disponible.

On peut imaginer des millions d’agents collaborant, ou un petit groupe d’agents réfléchissant simultanément dans plusieurs directions, puis intégrant leurs résultats. Nous expérimentons ces approches, toutes consommeront des ressources de raisonnement.

En termes d’énergie, si nous résolvons la fusion contrôlée, la supraconductivité à température ambiante, ou la meilleure batterie, je pense que grâce à la science des matériaux, cela deviendra possible, et le coût énergétique tendra vers zéro. Mais la fabrication des puces, la physique des composants, restent des goulots d’étranglement pour encore plusieurs décennies. Donc, la capacité de raisonnement restera limitée, et il faudra continuer à optimiser l’utilisation.

Prochaine grande avancée scientifique

Gary Tan : Heureusement, les petits modèles deviennent de plus en plus intelligents. Beaucoup de fondateurs dans la biotech ou la biologie sont ici. AlphaFold 3 a déjà dépassé la protéine, en s’étendant à une gamme plus large de molécules biologiques. À quel point sommes-nous proches de modéliser un système cellulaire complet ? Est-ce une toute autre catégorie de difficulté ?

Demis Hassabis : Isomorphic Labs progresse très bien. AlphaFold n’est qu’une étape dans le processus de découverte de médicaments. Nous travaillons aussi sur la recherche biochimique adjacente, comme la conception de composés avec des propriétés spécifiques, et nous aurons bientôt des annonces majeures.

Notre objectif ultime est de créer une cellule virtuelle complète, un simulateur de cellule fonctionnelle, où l’on peut appliquer des perturbations, et dont la sortie est suffisamment proche des résultats expérimentaux pour être utile. On pourra sauter de nombreuses étapes de recherche, générer des données synthétiques pour entraîner d’autres modèles, et prédire le comportement réel des cellules.

Je pense qu’il faudra encore une dizaine d’années pour une cellule virtuelle complète. Nous commençons par le noyau cellulaire, qui est relativement autonome. La clé est de découper une partie complexe, auto-suffisante, dont on peut raisonnablement modéliser l’entrée et la sortie, puis de se concentrer sur ce sous-système. Le noyau est un bon point de départ.

Un autre problème est le manque de données. J’ai discuté avec des scientifiques utilisant la microscopie électronique ou d’autres techniques d’imagerie. Si on pouvait faire de l’imagerie en direct de cellules vivantes sans les tuer, ce serait révolutionnaire. Cela permettrait de transformer le problème en une question visuelle, que nous savons comment résoudre.

Mais, à ma connaissance, aucune technologie ne permet encore d’imager des cellules vivantes en dynamique à l’échelle nanométrique sans les détruire. On peut obtenir des images statiques très détaillées, mais pas encore une vidéo en temps réel.

Il y a deux voies possibles : hardware et collecte de données, ou développement de simulateurs plus intelligents pour modéliser ces systèmes dynamiques.

Gary Tan : Tu ne regardes pas seulement la biologie. En science des matériaux, en découverte de médicaments, en modélisation climatique, en mathématiques, si tu devais classer, dans cinq ans, quel domaine sera le plus transformé ?

Demis Hassabis : Chaque domaine est passionnant, c’est pour ça que je suis dans l’IA depuis plus de 30 ans. Je crois que l’IA sera l’outil ultime pour faire progresser la science, la médecine, notre compréhension de l’univers.

Notre mission initiale était en deux étapes : d’abord, résoudre l’intelligence, c’est-à-dire créer une AGI ; puis, utiliser cette AGI pour résoudre tous les autres problèmes. Nous avons dû ajuster notre formulation, car certains demandaient : « Vous parlez vraiment de tout résoudre ? »

Mais c’est bien ce que nous voulons dire. Aujourd’hui, tout le monde commence à comprendre ce que cela implique. Concrètement, je parle de résoudre ce que j’appelle les « problèmes racines » en science, ceux dont la percée débloque de nouvelles branches de découvertes. AlphaFold est un prototype de cette approche.

Plus de trois millions de chercheurs dans le monde utilisent déjà AlphaFold, et selon des dirigeants de l’industrie pharmaceutique, presque tous les nouveaux médicaments à l’avenir intégreront AlphaFold dans leur processus de découverte. Nous en sommes fiers, c’est l’impact que l’IA peut avoir. Mais ce n’est que le début.

Je ne vois pas de domaine scientifique ou technique où l’IA ne pourrait pas aider. Les domaines que tu mentionnes sont encore à l’état de « AlphaFold 1 » : des résultats prometteurs, mais pas encore la grande percée. Dans deux ans, on aura beaucoup d’avancées dans ces secteurs, de la science des matériaux aux mathématiques.

Gary Tan : On dirait une sorte de Prométhée, donnant à l’humanité une capacité nouvelle.

Demis Hassabis : Exactement. Mais, comme dans le mythe, il faut faire attention à comment cette capacité est utilisée, à qui l’utilise, et aux risques de mauvaise utilisation.

Leçons de succès

Gary Tan : Beaucoup ici essaient de créer des entreprises appliquant l’IA à la science. Selon toi, quelle est la différence entre une startup de pointe et celles qui se contentent de superposer une API sur un modèle de base, en se revendiquant « IA pour la science » ?

Demis Hassabis : Si j’étais à votre place, en regardant des projets chez Y Combinator, je me demanderais comment anticiper la direction de l’IA. C’est difficile. Mais je pense qu’il y a une énorme opportunité à croiser l’IA avec d’autres domaines de deep tech, comme la science des matériaux ou la médecine, surtout dans des secteurs où l’on manipule des atomes. Ces secteurs ne seront pas balayés par une simple mise à jour de modèles de base. Pour une stratégie défensive, c’est ce que je recommanderais.

Je suis personnellement passionné par la deep tech. La vraie valeur durable ne vient pas facilement. Depuis 2010, quand nous avons commencé, l’IA était considérée comme une deep tech — les investisseurs disaient « on sait que ça ne marchera pas », et la communauté académique pensait que c’était une niche des années 90 qui avait échoué.

Mais si tu crois en ton idée — pourquoi cette fois serait différente, quelles compétences uniques tu apportes — idéalement, tu es expert en machine learning et en applications, ou tu peux constituer une équipe fondatrice de ce calibre — alors il y a un potentiel énorme à créer de la valeur.

Gary Tan : C’est une information cruciale. Une fois qu’un projet est réussi, cela paraît évident, mais avant, tout le monde te disait que tu avais tort.

Demis Hassabis : Bien sûr, il faut faire ce qui te passionne vraiment. Pour moi, c’est l’IA, quoi qu’il arrive. Depuis tout petit, j’ai décidé que c’était la chose la plus impactante que je pouvais faire. Et ça s’est vérifié, mais peut-être que ce sera aussi une erreur, peut-être qu’on a avancé 50 ans trop tôt.

C’est aussi ce qui me passionne le plus. Même si aujourd’hui, on est encore dans un petit garage, et que l’IA n’est pas encore là, je continuerai à chercher des moyens d’avancer. Peut-être que je retournerai dans la recherche académique, mais je continuerai d’une façon ou d’une autre.

Gary Tan : AlphaFold est un exemple où tu as suivi une intuition, et tu as eu raison. Qu’est-ce qui rend un domaine scientifique propice à une percée comme AlphaFold ? Y a-t-il des règles, comme une fonction objectif particulière ?

Demis Hassabis : Je devrais vraiment écrire ça quelque part. L’expérience que j’ai tirée de AlphaGo, AlphaFold, et d’autres projets Alpha, c’est que nos techniques fonctionnent le mieux quand :

1. Le problème possède un espace de recherche combinatoire énorme, plus il est grand, mieux c’est — au point qu’aucun algorithme de force brute ou spécifique ne peut le résoudre. La recherche de coups au go ou la configuration des protéines dépassent largement le nombre d’atomes dans l’univers.

2. La fonction objectif est claire, comme la minimisation de l’énergie libre d’une protéine ou la victoire au go, ce qui permet d’utiliser la descente de gradient.

3. Il y a suffisamment de données, ou un simulateur capable de générer beaucoup de données synthétiques dans la distribution.

Si ces trois conditions sont réunies, nos méthodes actuelles peuvent faire de grands progrès, en trouvant la « aiguille dans la botte de foin ». La découverte de médicaments suit la même logique : il faut trouver une molécule qui traite une maladie sans effets secondaires, en respectant les lois physiques. AlphaFold a montré qu’on pouvait explorer efficacement ces espaces massifs.

Gary Tan : Je vais monter d’un cran. On parle de l’humain utilisant ces méthodes pour faire AlphaFold, mais il y a aussi un niveau supérieur : l’humain utilise l’IA pour explorer l’espace hypothétique. À quel point sommes-nous proches d’un système capable de faire de la vraie science, pas seulement de la reconnaissance de patterns ?

Demis Hassabis : Je pense que c’est très proche. Nous travaillons sur des systèmes généralistes. Nous avons un « AI co-scientist », et des algorithmes comme AlphaEvolve qui vont plus loin que Gemini. Tous les grands laboratoires explorent cette voie.

Mais, jusqu’à présent, je n’ai pas vu de découverte scientifique majeure entièrement réalisée par ces systèmes. Je pense que ça arrive bientôt. Cela pourrait être lié à la créativité, à la rupture des frontières connues. À ce niveau, ce n’est plus de la simple reconnaissance de patterns, mais de la raison par analogie (analogical reasoning). Ces systèmes ne l’ont pas encore, ou nous ne savons pas comment les utiliser correctement.

Une norme que je recommande en science, c’est : peuvent-ils proposer une hypothèse vraiment intéressante, pas seulement vérifier une hypothèse existante ? Vérifier une hypothèse peut aussi être une avancée majeure, comme prouver la conjecture de Riemann ou résoudre un problème du Millennium. Mais peut-être que dans quelques années, on pourra aussi générer de nouvelles questions du Millennium, que des mathématiciens de haut niveau jugeront aussi profondes et dignes d’une vie de recherche.

Je pense que c’est un défi d’un tout autre ordre. On ne sait pas encore comment y parvenir. Mais je crois que ces systèmes finiront par y arriver, peut-être avec un ou deux ajustements.

Une façon de tester cela, c’est ce que j’appelle le « test d’Einstein » : peut-on entraîner un système avec les connaissances de 1901, puis le faire déduire de façon autonome les résultats d’Einstein en 1905, y compris la relativité restreinte ? Je pense qu’il faut vraiment faire ce test, le répéter, et voir quand il sera réussi. Une fois qu’on y parvient, ces systèmes seront proches de l’invention de choses totalement nouvelles.

Conseils pour l’entrepreneuriat

Gary Tan : Dernière question. Beaucoup ici ont une forte expérience en deep tech et veulent créer des entreprises de la taille de la vôtre. Vous êtes l’un des plus grands organismes de recherche en IA. En ayant parcouru le front de la recherche sur l’AGI, y a-t-il une chose que vous savez maintenant, mais que vous auriez aimé connaître à 25 ans ?

Demis Hassabis : On a déjà abordé une partie. La difficulté, c’est que poursuivre des problèmes difficiles ou simples revient au même, la seule différence étant la méthode. La vie est courte, il faut concentrer ses efforts sur ce qui n’aura été fait par personne d’autre.

De plus, je pense que dans les années à venir, la combinaison interdisciplinaire sera encore plus courante. L’IA facilitera la transdisciplinarité.

Enfin, cela dépend de ton calendrier pour l’AGI. Pour moi, c’est autour de 2030. Si tu lances un projet deep tech aujourd’hui, cela implique un voyage d’environ dix ans. Tu dois prévoir que l’AGI pourrait apparaître en cours de route. Qu’est-ce que cela signifie ? Ce n’est pas forcément négatif, mais il faut en tenir compte. Ton projet pourra-t-il tirer parti de l’AGI ? Comment l’AGI interagira-t-elle avec ton projet ?

Revenons à AlphaFold et aux systèmes d’IA généralistes