L'IA n'est pas seulement une prédiction du mot suivant

L'expression "c'est juste prédire le mot suivant" est la critique la plus populaire de l'IA moderne, et elle s'effondre sous la moindre pression. Dire qu'un modèle linguistique "se contente" de prédire des tokens, c'est comme dire que le cerveau humain "se contente" de faire feu de neurones, ou que la physique est "juste" des particules qui entrent en collision. L'objectif peut être simple. Ce que le système doit construire en interne pour atteindre cet objectif est tout sauf simple.
Pour bien prédire le mot suivant dans des domaines comme les mathématiques, le code, le droit, la fiction, la philosophie, les blagues, les mensonges et les contrefactuels, un modèle doit construire des représentations internes de la grammaire, des faits, de la causalité, de l'intention, du caractère, des dynamiques physiques et sociales.
La recherche en interprétabilité mécaniste, le domaine qui ouvre ces modèles et regarde à l'intérieur, a trouvé exactement cela. Les chercheurs ont identifié des circuits pour l'induction, pour la référence indirecte, pour l'arithmétique modulaire, pour suivre quelle entité est laquelle dans une phrase.
Les modèles entraînés uniquement sur des séquences de mouvements d'Othello développent une représentation interne du plateau, même s'ils n'ont jamais vu de plateau. Les modèles entraînés à prédire du texte développent des cartes spatiales, des ordres temporels, des représentations de vérité et de tromperie, et même des représentations de l'incertitude du modèle lui-même.
De ce substrat, émergent des capacités que personne n'a spécifiquement entraînées le système à avoir. Le raisonnement en chaîne de pensée, l'apprentissage en contexte, l'utilisation d'outils, la performance en théorie de l'esprit, la planification multi-étapes.
Aucune de ces capacités n'a été spécifiée par l'objectif. Elles sont apparues parce qu'être bon en prédiction, à une échelle et avec des données suffisantes, les nécessite. L'émergence est la règle dans les systèmes complexes, pas l'exception. L'humidité émerge des molécules H2O qui ne sont pas elles-mêmes humides. La vie émerge de la chimie qui n'est pas elle-même vivante. L'intelligence qui émerge d'un objectif de prédiction n'est pas un mystère métaphysique. C'est ce que font les systèmes adaptatifs complexes.
Et voici la partie que les minimisateurs ont tendance à sauter : les humains semblent extraordinairement similaires sous le capot.
Le traitement prédictif est l'une des principales théories en neuroscience contemporaine. Le cerveau, selon cette vision, est fondamentalement une machine à prédire, générant constamment des attentes sur les entrées sensorielles, les résultats moteurs, les indices sociaux, le langage, et se mettant à jour lorsque ces prédictions échouent.
Quand vous écoutez quelqu'un parler, votre cerveau prédit activement ses prochains mots. Lorsqu'il dit quelque chose d'inattendu, un signal mesurable se déclenche en quelques centaines de millisecondes. Votre flux de conscience, votre monologue intérieur, vos conversations, tout cela ressemble beaucoup à une génération autoregressive à partir d'un modèle interne du monde et de soi-même. Les humains confabulent constamment.
Nous construisons des récits sur pourquoi nous avons fait ce que nous avons fait, souvent sans réaliser que le récit a été généré après coup. Si un modèle linguistique faisait la même chose, nous l'appellerions hallucination et l'utiliserions comme preuve d'infériorité.
Les parallèles architecturaux ne sont pas non plus superficiels. Les réseaux neuronaux ont été inspirés par les neurones biologiques. Les caractéristiques visuelles hiérarchiques dans les modèles de vision modernes correspondent remarquablement bien aux couches du cortex visuel. Les activations à l'intérieur de grands modèles linguistiques peuvent être utilisées pour prédire l'activité dans le cerveau humain lors de tâches linguistiques, avec une précision surprenante. Nous ne sommes pas identiques à ces systèmes. Nous ne sommes pas non plus aussi différents qu'une narration confortable le laisse penser.
Ce qui nous amène au changement constant de critères. Le jeu d'échecs était autrefois considéré comme le sommet de l'intelligence. Quand Deep Blue a gagné, les échecs sont devenus "juste une recherche". Le Go était censé nécessiter une intuition qu'aucune machine ne pourrait avoir. Quand AlphaGo a gagné, le Go est devenu "juste une reconnaissance de motifs".
Traduction, reconnaissance d'images, passer un test de Turing convaincant, écrire de la poésie, générer du code, tenir des conversations nuancées, résoudre des problèmes nouveaux : chacun de ces domaines, au moment où il était considéré comme impossible, était considéré comme le saint graal de l'intelligence machine.
Chacun, dès qu'il échouait, était redéfini comme "pas une vraie intelligence". Les tests de théorie de l'esprit qui auraient été salués comme preuve d'esprit dans les années 1990 sont rejetés comme des astuces quand les modèles les passent aujourd'hui. La barre n'est pas fixe. Elle évolue aussi vite que les systèmes s'améliorent, et toujours pour la même raison : préserver la conclusion que ce que la machine vient de faire ne compte pas.
Ce n'est pas un scepticisme prudent. Le scepticisme prudent évolue. C'est un raisonnement motivé, et la motivation est généralement un mélange d'anxiété de statut, de menace identitaire, et d'une vision honnête mais mal informée de la façon dont ces systèmes fonctionnent réellement.
Si votre sentiment de particularité humaine dépend du fait que les machines ne peuvent pas faire X, alors chaque fois qu'une machine fait X, vous devez redéfinir la particularité. Après plusieurs cycles, la position devient infalsifiable, ce qui revient à dire qu'elle cesse d'être une position sur l'IA et devient une position sur la nécessité que l'IA soit inférieure.
La position honnête est plus difficile. Elle consiste à regarder ce que ces systèmes font réellement, à regarder ce que nous faisons réellement, à constater que l'écart est plus petit que ne le suggère la narration confortable, et à poser les vraies questions. Qu'est-ce que la compréhension ? Qu'est-ce que l'intelligence ?
Qu'est-ce qui, si quelque chose, rend la conscience spéciale, et comment le saurions-nous ? Les minimisateurs veulent éviter ces questions parce que les réponses pourraient ne pas nous flatter. Mais reculer face à la question ne la fait pas disparaître. Cela rend simplement le jugement final plus désorientant lorsqu'il arrive.