Récemment, j'ai vu une interview de Hassabis, fondateur de DeepMind, lors d'une session YC, et certains points m'ont vraiment frappé. Il dit que si vous lancez un projet de technologie profonde sur dix ans, il faut prévoir l'apparition de l'AGI en cours de route. Ce n'est pas alarmiste, sa propre timeline personnelle est autour de 2030.

En écoutant ses détails techniques, on comprend pourquoi l'AGI n'est pas encore là, il manque encore une ou deux pièces du puzzle. La pré-formation à grande échelle, RLHF, la chaîne de pensée, ces techniques ont déjà été prouvées, il est certain qu'elles feront partie de l'architecture finale de l'AGI. Mais l'apprentissage continu, le raisonnement à long terme, certains aspects de la mémoire ne sont pas encore vraiment résolus. La méthode actuelle consiste essentiellement à tout mettre dans une fenêtre de contexte, ce qui est assez brutal. Il donne l'exemple : une fenêtre de contexte d'un million de tokens semble grande, mais pour traiter un flux vidéo en temps réel, cela ne suffit que pour 20 minutes de données. Pour que le système comprenne votre vie sur un ou deux mois, c'est loin d'être suffisant.

Le problème du raisonnement est encore plus intéressant. Il observe Gemini en jouant aux échecs, et constate qu'il arrive parfois à se rendre compte qu'un coup est mauvais, mais ne trouve pas de meilleure option, alors il joue ce mauvais coup. Un système de raisonnement précis ne devrait pas faire ça. C'est pourquoi on voit ce qu'on appelle la « dent de scie de l'intelligence » — capable de résoudre des problèmes de niveau médaille d'or à l'IMO, mais incapable de résoudre des mathématiques de niveau primaire.

Concernant l'agent, il admet que nous ne faisons que commencer. Pour atteindre l'AGI, il faut un système capable de résoudre activement des problèmes pour vous, c'est la voie de l'agent. Mais pour l'instant, nous sommes encore en phase expérimentale. La plupart des scénarios restent accessoires. Il mentionne qu'il n'a pas encore vu quelqu'un utiliser un outil d'IA pour créer un jeu AAA en tête des ventes d'app stores. Selon la puissance de calcul et les outils actuels, cela devrait être possible en théorie, mais ce n'est pas encore arrivé. Cela montre qu'il manque quelque chose dans le processus ou dans les outils. Il prévoit que dans 6 à 12 mois, on verra de tels résultats.

Ce qui est intéressant, c'est que les petits modèles changent la donne. Leur modèle Flash peut atteindre 95 % des performances des modèles de pointe, mais à un dixième du coût. La distillation, cette méthode, a été inventée par DeepMind et reste encore aujourd'hui une des meilleures au monde. De plus, ils ont une forte motivation pour l'optimiser — chaque produit de Google intègre Gemini, touchant des milliards d'utilisateurs. Cela signifie qu'il faut une vitesse extrême, une efficacité maximale, et des coûts très faibles. Il ne pense pas avoir atteint la limite théorique de l'information. Après la sortie d'un modèle de pointe, ses capacités peuvent être compressées dans un modèle pouvant fonctionner sur des appareils périphériques en six mois à un an.

Concernant l'application scientifique, Isomorphic Labs progresse bien, AlphaFold n'est qu'une étape dans le processus de découverte de médicaments. Leur objectif ultime est de créer une cellule virtuelle complète, un simulateur de cellule fonctionnelle capable d'appliquer des perturbations. Ils estiment qu'il reste environ dix ans pour réaliser une cellule virtuelle complète, en commençant par le noyau de la cellule virtuelle.

Le conseil le plus pratique pour les entrepreneurs est que la difficulté de résoudre un problème difficile ou simple n'est en réalité pas si différente, seule la manière de le faire diffère. La vie est limitée, il vaut mieux concentrer ses efforts sur ce que personne d'autre ne fait si on ne le fait pas. De plus, dans les années à venir, la combinaison interdisciplinaire deviendra plus courante, l'IA facilitera la transdisciplinarité. Mais le plus important, c'est de prendre au sérieux le calendrier de l'AGI, d'imaginer à quoi ressemblera ce monde, puis de construire quelque chose qui restera utile lorsque ce monde sera là.