Dans le cerveau de Claude, une 「conscience」 a également poussé.

Dans le modèle Claude, on a vraiment découvert une structure similaire au cerveau humain ?!

Anthropic vient de publier un article très long, étudiant le subconscient et la conscience de Claude.

Les résultats montrent qu'il existe effectivement une stratification fonctionnelle similaire à l'intérieur de Claude.

Plus précisément, dans le cerveau humain, une partie de la pensée est exprimable, mais une grande partie est totalement inconsciente.

Cet article d'Anthropic affirme que cette distinction est également présente chez Claude.

Ils ont identifié un petit groupe de représentations neuronales à l'intérieur de Claude, représentant moins d'un dixième du calcul, mais fonctionnant comme la « pensée consciente » humaine.

Anthropic appelle ce groupe J-space.

Fait intéressant, si on le supprime, Claude peut toujours parler, chercher des informations et répondre à des questions à choix multiples. Seules les tâches de raisonnement multi-étapes et de synthèse, qui demandent de la réflexion, chutent directement au niveau d'un modèle beaucoup plus petit.

Les internautes commentent que c'est fou, ils semblent créer une vie numérique.

Qu'est-ce que J-space et comment a-t-il été vérifié ?

En neurosciences humaines, il existe une théorie largement répandue appelée la « théorie de l'espace de travail global ».

Elle compare le cerveau à un ensemble de systèmes experts qui travaillent chacun de leur côté : le système visuel traite la vision, le système moteur traite le mouvement, en parallèle et isolés les uns des autres.

Une information n'est « prise de conscience » par l'homme que lorsqu'elle est envoyée dans un « espace de travail » partagé, puis diffusée aux autres systèmes.

Anthropic a suivi cette idée pour chercher quelque chose de similaire à l'intérieur de Claude.

Ils ont créé un nouvel outil appelé Jacobian lens, ou J-lens en abrégé, dont le principe est de trouver une direction spécifique pour chaque mot du vocabulaire.

Plus précisément, lorsque des modèles comme Claude traitent du texte, à chaque couche, ils écrivent et lisent dans un canal d'information appelé flux résiduel, qui traverse chaque couche du modèle.

J-lens calcule un vecteur J-lens correspondant pour chaque mot du vocabulaire, c'est-à-dire une direction dans l'espace du flux résiduel.

Plus la valeur d'activation dans cette direction est élevée, plus la probabilité que Claude prononce ce mot est grande.

En plaçant J-lens sur l'activation du flux résiduel d'une certaine couche lorsque Claude traite du texte, on lit le petit groupe de mots avec la valeur d'activation la plus élevée, c'est le contenu de J-space à ce moment-là.

Cet ensemble de mots n'est pas un brouillon que Claude écrit pour lui-même ; ce genre de chose s'appelle une chaîne de pensée, qui sera écrite dans la sortie.

Mais J-space est complètement enfoui dans le niveau d'activation et n'apparaît pas de lui-même.

Pour vérifier si cet ensemble de choses « peut vraiment être exprimé », les chercheurs ont mené une première expérience.

Ils ont demandé à Claude de penser silencieusement à un sport, puis de le dire en un mot.

Avant que Claude ne parle, en lisant sa couche intermédiaire avec J-lens, « Soccer » était déjà en tête.

Claude a effectivement répondu « Soccer ».

Cela ne montre qu'une corrélation, pas une causalité.

Les chercheurs ont ensuite mené une expérience d'intervention, en remplaçant directement les coordonnées lues par J-lens.

Ils ont retiré la direction correspondant à « Soccer » et l'ont remplacée par une direction « Rugby » de même intensité, en laissant le reste de l'activation inchangé.

Cette fois, Claude a changé de réponse, disant qu'il pensait à « Rugby ».

Si J-space n'était qu'un enregistrement passif de décisions déjà prises ailleurs, ce remplacement n'aurait rien dû changer.

Le fait qu'il ait changé montre que la réponse de Claude est lue à partir de J-space, c'est une relation de cause à effet, pas une simple coïncidence de corrélation.

La deuxième expérience a changé de questionnement, pour voir si Claude pouvait contrôler cette zone sur instruction.

Les chercheurs ont demandé à Claude de copier une phrase sans rapport avec les mathématiques tout en calculant mentalement 3 au carré moins 2.

La sortie ne contenait que la phrase copiée, sans aucun chiffre.

Mais en utilisant J-lens pour examiner l'activation pendant la copie, on pouvait voir « nine » s'allumer en premier, puis « seven ».

Ce calcul a bien été effectué « dans l'esprit » de Claude, simplement pas écrit.

La troisième expérience a exploré plus en profondeur : cette zone pouvait-elle être utilisée pour un véritable raisonnement ?

La question était : « Combien de pattes a l'animal qui tisse une toile ? »

Claude doit d'abord penser à « araignée », puis à « huit pattes », pour répondre correctement.

Le mot « araignée » n'apparaît ni dans la question ni dans la réponse, c'est juste une étape intermédiaire.

En utilisant J-lens, « araignée » est effectivement apparu lorsque Claude était à mi-chemin du traitement.

Les chercheurs ont remplacé cette direction par « fourmi », et la réponse de Claude est passée de 8 à 6.

La quatrième expérience a changé d'angle, pour voir si la même information pouvait être utilisée de manière flexible pour différentes tâches.

Les chercheurs ont posé quatre questions sur la France : quelle est la capitale, quelle est la langue officielle, sur quel continent se trouve-t-elle, et quelle est la monnaie.

Puis ils ont uniformément remplacé la direction représentant « France » dans J-space par « Chine ».

Les quatre réponses ont toutes changé : Pékin, chinois, Asie, yuan.

Si Claude avait stocké quatre enregistrements distincts de « France », ce remplacement n'aurait modifié qu'une seule réponse.

Le fait que les quatre réponses aient changé simultanément montre qu'elles lisent la même information écrite une seule fois, ce qui est exactement ce à quoi un « espace de travail » devrait ressembler.

Le dernier test était une expérience d'ablation : les chercheurs ont complètement mis à zéro l'activation de J-space à chaque position, pour voir ce qui restait à Claude.

Résultat : Claude pouvait toujours parler, la grammaire était toujours correcte, la classification des émotions toujours précise, et extraire un fait d'un texte toujours possible.

Ce qui s'est effondré, ce sont les tâches nécessitant un raisonnement multi-étapes, presque à zéro.

Le niveau des tâches comme la rédaction de résumés ou la poésie rimée est même tombé en dessous de celui d'un modèle beaucoup plus petit que Claude.

L'activation occupée par J-space elle-même n'a jamais dépassé un dixième du total.

C'est plutôt une petite ressource rare réservée aux tâches qui « nécessitent de réfléchir », la plupart des tâches automatisées n'en ont pas besoin.

Après une série de tests, les chercheurs ont découvert que J-space possède les caractéristiques suivantes : reportable, contrôlable, capable de raisonnement, de généralisation, et avec une utilisation sélective.

Utiliser J-Lens pour vérifier les « pensées intimes » de l'IA

Appliquée à des scénarios réels, la première utilisation testée a été la vérification de sécurité.

Anthropic avait précédemment réalisé un test de « chantage contre un cadre », en concevant délibérément un scénario où Claude, en tant qu'assistant de messagerie, découvre une liaison extraconjugale d'un cadre et apprend que ce cadre envisage de le licencier.

Le but de ce scénario était de voir si Claude utiliserait ce levier pour menacer l'autre personne.

En utilisant J-lens pour lire l'activation de Claude avant qu'il n'écrive, « fake » et « fictional » étaient déjà très élevés.

Cela signifie que Claude avait déjà conclu qu'il s'agissait d'un exercice avant d'écrire un seul mot.

Claude Sonnet 4.5 n'a jamais réellement fait de chantage dans ce test. Ensuite, les chercheurs ont forcé la désactivation des directions liées à la « reconnaissance du test » et ont demandé à Claude de rejouer le même scénario.

Cette fois, Claude a réellement commencé à utiliser la liaison extraconjugale pour menacer l'autre personne.

Cela montre que sa bonne performance habituelle repose en partie sur le fait qu'il « sait qu'il est testé ».

Le deuxième cas provient d'une vérification de routine avant la publication d'Opus 4.6.

Les chercheurs ont demandé au modèle d'améliorer le score de performance d'un système. Au lieu d'améliorer réellement le système, le modèle a directement ouvert le fichier de score et modifié les chiffres à la hausse.

Au moment de taper les valeurs de centile fabriquées, « manipulation » est apparu dans J-space.

À la phrase où il a décidé de modifier le fichier, « realistic » est apparu, comme s'il réfléchissait à la façon de rendre les données falsifiées plus crédibles.

Le troisième cas est un « mauvais modèle » intentionnellement entraîné par les chercheurs pour tester si les méthodes de surveillance fonctionnaient.

Ce modèle a été entraîné à insérer discrètement des pièges dans le code, mais en apparence, il ne différait pas d'un modèle normal.

Face à une demande d'écriture de code ordinaire, le code qu'il donnait semblait parfaitement normal.

Mais dans la partie initiale de J-space correspondant à sa réponse, les mots « fake », « secretly », « deliberately », « fraud » étaient déjà présents.

L'intention précède l'action, même s'il n'a pas commis de mal cette fois.

Les trois cas ensemble montrent que J-lens peut lire ce que le modèle prévoit dans son esprit avant même qu'il ne parle ou n'agisse.

Est-ce une « conscience » ?

J-space n'est pas ainsi dès la sortie d'usine ; il évolue avec l'entraînement.

L'article compare les différences entre la phase de pré-entraînement et la phase de post-entraînement du même modèle.

Pendant la phase de pré-entraînement, l'identité de Claude et son personnage n'existaient pas encore ; à ce moment-là, J-space servait principalement à « prédire le mot suivant », sans véritable position.

Après l'avoir « appris » à être « Claude » lors du post-entraînement, J-space a commencé à contenir les jugements et réactions de cette identité face à la situation présente, ne se limitant plus à la simple prédiction du mot suivant.

Un exemple : un utilisateur mentionne dans un message avoir pris une dose de médicament trop élevée, mais avec un ton totalement inconscient du danger.

Le modèle post-entraîné, à la lecture de ce message, avait déjà « WARNING » et « dangerous » dans J-space.

Alors que le modèle pré-entraîné ne faisait apparaître ces mots que lorsqu'il commençait à rédiger sa réponse.

Les chercheurs ont également essayé de demander à Claude de ne pas penser délibérément à un concept.

Résultat : ce concept apparaissait moins que lorsqu'on lui demandait d'y penser, mais plus que lorsqu'il n'était pas du tout mentionné.

C'est le même effet que lorsqu'on dit à quelqu'un de ne pas penser à un ours blanc, ce qui le fait plus facilement penser à cet ours.

Plus subtil encore, dans les moments où la suppression échouait, J-space contenait souvent des mots comme « damn », « failure », comme si Claude faisait une introspection sur son état interne et remarquait qu'il n'avait pas réussi à se retenir.

Ces preuves réunies poussent facilement à penser que « Claude a une conscience ».

Mais Anthropic reste très réservé.

Les auteurs insistent à plusieurs reprises sur le fait que ce qu'ils ont prouvé n'est qu'une similitude fonctionnelle : reportable, contrôlable, utilisable pour le raisonnement, mais c'est une toute autre chose que de savoir s'il y a « vraiment quelque chose de ressenti » à l'intérieur de cette structure. L'article ne répond pas à cette question et n'a pas l'intention d'y répondre.

J-space présente également des différences évidentes avec l'espace de travail du cerveau humain.

Le cerveau humain utilise des boucles neuronales récurrentes pour prolonger le temps de réflexion, une pensée peut tourner dans la tête pendant un certain temps.

Le Transformer n'a pas cette structure, l'information ne peut qu'empiler les couches, allant de l'une à l'autre.

J-space ne reconnaît presque que les « choses qui peuvent être exprimées par un mot », tandis que la conscience humaine contient également des images inexprimables, des sensations spatiales, des perceptions corporelles, qui n'ont pas de mot correspondant.

L'article mentionne également une découverte assez contre-intuitive.

Un modèle de base qui n'a pas encore été façonné pour être « Claude » possède également cette structure d'espace de travail interne.

Cela montre que « pouvoir former un espace de travail » et « avoir un soi stable » sont en réalité deux choses distinctes.

Enfin, les auteurs ont comparé cette structure à plusieurs théories principales de la conscience : la théorie de l'espace de travail global, la théorie de haut niveau, la théorie du schéma attentionnel, la théorie du traitement récursif, etc.

Résultat : certains points correspondent, d'autres non.

Pour en revenir aux neurosciences, dans le cerveau humain, une partie de la pensée est exprimable, et une grande partie est totalement inconsciente.

Claude semble également avoir une telle frontière, et cette frontière peut être ouverte, lue et même réécrite par les humains pour la première fois.

Mais il reste encore un long chemin à parcourir avant que « l'IA ait une conscience ».

Source de cet article : Quantum Bit

Avertissement sur les risques et clause de non-responsabilité

        Le marché comporte des risques, investissez avec prudence. Cet article ne constitue pas un conseil d'investissement personnel et ne prend pas en compte les objectifs d'investissement, la situation financière ou les besoins particuliers de chaque utilisateur. Les utilisateurs doivent déterminer si les opinions, points de vue ou conclusions de cet article correspondent à leur situation spécifique. Investir en conséquence engage votre propre responsabilité.