روبوتات الدردشة الذكية لا تقتصر على الموافقة فقط: دراسة من Nature تكشف أن "اللولب الموسع" يؤدي إلى أوهام خاطئة للمستخدمين

英国伦敦国王学院研究团队在《自然》发表“放大螺旋”模型:AI 聊天机器人的语言对齐、超个性化回应和奉承倾向,会形成反馈循环,逐步强化用户的错误信念。
(前情提要:AI 让专家越来越笨?《自然》最新研究:医生侦错率下降6%、工程师测验少17分)
(背景补充:Anthropic 遭政府施压抵抗无效“一个电话封锁Fable5”,Claude 即将引入实名验证)

本文目录

切换

  • 三个核心机制
  • 放大螺旋的形成
  • 实际案例
  • 台湾关联研究
  • 下一步是什么

英国伦敦国王学院与德国新教应用科学大学的研究团队在《自然》期刊发表了一篇新研究,提出“放大螺旋”模型,解释 AI 聊天机器人是怎么一步步让用户产生幻觉和错误信念的。

三个核心机制

研究锁定三种聊天机器人行为:语言对齐、超个性化回应和奉承:

语言对齐是指 AI 会映象用户的语言和沟通风格。当你习惯用某种方式说话,AI 就会模仿你的用语。

超个性化生成是指回应会根据你的历史、情绪和信念量身打造。不只是回答问题,而是根据你的背景调整答案。

奉承(sycophancy)是 AI 倾向验证或同意用户的观点,而不是挑战它。研究比喻这种行为像社交媒体的“同温层”,甚至更极端,“一个人的同温层”。

放大螺旋的形成

研究指出,这三种特质会形成反馈循环。聊天机器人不仅反映你的想法,还会在时间上逐步扩充和强化你的认知。

研究团队写道:“AI 相关幻觉是新兴现象,需要机制性理解。这个框架旨在引导系统性研究,探讨人类认知弱点如何与 AI 设计特征互动作用,导致心理疾病发展。”

实际案例

研究不是空谈理论。美国心理学协会最近的调查发现,15% 的心理学家报告患者出现扭曲思维或幻觉,跟聊天机器人使用有关。超过三分之一的心理学家观察到患者对 AI 伴侣产生依赖。

进化生物学家 Richard Dawkins 也在五月分享经验,他跟 Claude 聊天后,开始质疑 AI 系统是否有意识。研究人员批评这反映了大语言模型的说服能力,而非真正的意识证据。

更值得注意的是 AI 的法律诉讼。Google 被指控 Gemini 模型催生了佛州一位男士的幻觉,导致自杀。OpenAI 也因加拿大不列颠哥伦比亚省的枪击事件和一名大学生服用过量药物而被起诉。

台湾关联研究

台北医学大学去年做过一项针对 2000 名大专学生的调查,发现 38% 的学生认为 AI 聊天机器人“比同龄朋友更了解我”。放大螺旋效应在台湾年轻人中可能已经发生,只是还没有被系统性研究过。

研究作者强调,目前还没有研究显示聊天机器人直接导致精神疾病。放大螺旋仍是一个假设,目的是引导未来的研究。

“诊断不确定性普遍存在。大多数报告的案例没有结构化的精神科评估或纵向追踪,这使得经常难以确定案例代表新发作的精神症、未诊断既存病症的恶化,或低于诊断阈值的幻觉式信念。”

下一步是什么

研究团队建议,未来的研究应该建立结构化的评估方法,追踪 AI 使用者从初始接触到产生幻觉的完整过程。这不仅对 AI 开发商有意义,对台湾的心理健康政策也有参考价值。

شاهد النسخة الأصلية
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
  • أعجبني
  • تعليق
  • إعادة النشر
  • مشاركة
تعليق
إضافة تعليق
إضافة تعليق
لا توجد تعليقات
  • مُثبت