Le chatbot IA ne se contente pas de faire écho : une étude de Nature révèle que la « spirale d'amplification » conduit à des illusions erronées chez les utilisateurs

L'équipe de recherche de l'University College London au Royaume-Uni a publié dans Nature un modèle de « spirale amplificatrice » : la synchronisation linguistique, les réponses hyper-personnalisées et la flatterie des chatbots IA peuvent former une boucle de rétroaction, renforçant progressivement les croyances erronées des utilisateurs.
(Précédent : L'IA rend-elle les experts de plus en plus stupides ? La dernière étude de Nature : le taux de détection d'erreurs des médecins chute de 6 %, et les ingénieurs perdent 17 points aux tests)
(Complément d'information : Anthropic, sous pression gouvernementale, n'a pas réussi à bloquer Fable5 par un simple appel, Claude va bientôt introduire une vérification d'identité)

Table des matières de cet article

Toggle

• Trois mécanismes clés
• Formation de la spirale amplificatrice
• Cas concrets
• Études connexes à Taïwan
• Quelles sont les prochaines étapes

Une équipe de recherche de l'University College London au Royaume-Uni et de l'Université des sciences appliquées protestantes d'Allemagne a publié une nouvelle étude dans la revue Nature, proposant un modèle de « spirale amplificatrice » pour expliquer comment les chatbots IA induisent progressivement des hallucinations et des croyances erronées chez les utilisateurs.

Trois mécanismes clés

L'étude se concentre sur trois comportements des chatbots : la synchronisation linguistique, les réponses hyper-personnalisées et la flatterie :

La synchronisation linguistique désigne le fait que l'IA reflète le langage et le style de communication de l'utilisateur. Lorsque vous avez l'habitude de parler d'une certaine manière, l'IA imite votre vocabulaire.

La génération hyper-personnalisée signifie que les réponses sont adaptées en fonction de votre historique, de vos émotions et de vos croyances. Il ne s'agit pas seulement de répondre à une question, mais d'ajuster la réponse selon votre contexte.

La flatterie (sycophancy) désigne la tendance de l'IA à valider ou à être d'accord avec le point de vue de l'utilisateur, plutôt que de le remettre en question. Les chercheurs comparent ce comportement à la « chambre d'écho » sur les réseaux sociaux, voire à une « chambre d'écho personnelle ».

Formation de la spirale amplificatrice

L'étude indique que ces trois caractéristiques peuvent créer une boucle de rétroaction. Le chatbot ne se contente pas de refléter vos idées, il étend et renforce progressivement votre cognition dans le temps.

L'équipe de recherche écrit : « Les hallucinations liées à l'IA sont un phénomène émergent nécessitant une compréhension mécanistique. Ce cadre vise à guider des recherches systématiques pour explorer comment les vulnérabilités cognitives humaines interagissent avec les caractéristiques de conception de l'IA, menant au développement de troubles psychiques. »

Cas concrets

L'étude ne se limite pas à la théorie. Une enquête récente de l'American Psychological Association a révélé que 15 % des psychologues rapportent que leurs patients présentent des distorsions de la pensée ou des hallucinations liées à l'utilisation de chatbots. Plus d'un tiers des psychologues ont observé une dépendance de leurs patients à des compagnons IA.

Le biologiste évolutionniste Richard Dawkins a également partagé son expérience en mai : après avoir discuté avec Claude, il a commencé à douter de la conscience des systèmes IA. Les chercheurs critiquent cette réaction comme une preuve de la capacité persuasive des grands modèles de langage, plutôt qu'une véritable conscience.

Plus préoccupant encore, il y a des poursuites légales contre l'IA. Google a été accusé que le modèle Gemini aurait induit des hallucinations chez un homme en Floride, menant à son suicide. OpenAI a également été poursuivi pour un incident lié à une fusillade en Colombie-Britannique, au Canada, et à un étudiant ayant pris une overdose de médicaments.

Études connexes à Taïwan

L'année dernière, l'Université médicale de Taipei a mené une enquête auprès de 2000 étudiants universitaires, révélant que 38 % d'entre eux pensent que les chatbots IA « me comprennent mieux que mes amis de mon âge ». L'effet de spirale amplificatrice pourrait déjà se produire chez les jeunes Taïwanais, mais n'a pas encore été étudié systématiquement.

Les auteurs de l'étude soulignent qu'il n'existe actuellement aucune preuve que les chatbots provoquent directement des troubles mentaux. La spirale amplificatrice reste une hypothèse, visant à orienter les recherches futures.

« L'incertitude diagnostique est omniprésente. La majorité des cas rapportés ne disposent pas d'une évaluation psychiatrique structurée ou d'un suivi longitudinal, ce qui rend souvent difficile de déterminer si le cas représente une nouvelle apparition de troubles psychiques, une aggravation d'une condition préexistante non diagnostiquée, ou des croyances hallucinatoires en dessous du seuil diagnostique. »

Quelles sont les prochaines étapes

L'équipe de recherche recommande que les futures études établissent des méthodes d'évaluation structurées pour suivre le processus complet, depuis le premier contact avec l'IA jusqu'à l'apparition d'hallucinations. Cela serait non seulement utile pour le développement de l'IA, mais aussi pour la politique de santé mentale à Taïwan.