📢 Gate 广场认证创作者招募中,入驻瓜分每月 $20,000 创作大奖!
📌 参与方式
站内创作者: 成功申请“创作者认证徽章”即可自动参与。
新入驻创作者: 需填写入驻表单申请 👉️ https://www.gate.com/questionnaire/7698
🎁 创作者福利
1️⃣ 首帖见面礼: 新入驻/回归创作者发首帖,即得 $50U 奖励!
2️⃣ 周度发帖奖: 完成周发帖任务,轻松瓜分 $10,000 奖池!
3️⃣ 月度创作奖: 赛道更多样,完成月度任务瓜分 $1,600 GT 奖池!
4️⃣ 专属推广任务:进入专属创作者社群,享专属推广任务和节日礼包!
让您的优质内容被更多人看到,携手共建高质量创作者社区!
活动细节:https://www.gate.com/announcements/article/51536
AI 聊天机器人不只附和:Nature 研究揭「放大螺旋」导致使用者错误幻觉
英国伦敦国王学院研究团队在《自然》发表“放大螺旋”模型:AI 聊天机器人的语言对齐、超个性化回应和奉承倾向,会形成反馈循环,逐步强化使用者的错误信念。
(前情提要:AI 让专家越来越笨?《自然》最新研究:医生侦错率掉 6%、工程师测验少 17 分)
(背景补充:Anthropic 遭政府施压抵抗无效“一通电话封锁Fable5”,Claude 即将引入实名验证)
本文目录
切换
英国伦敦国王学院与德国新教应用科学大学的研究团队在《自然》期刊发表了一篇新研究,提出“放大螺旋”模型,解释 AI 聊天机器人是怎么一步步让使用者产生幻觉和错误信念的。
三个核心机制
研究锁定三种聊天机器人行为:语言对齐、超个性化回应和奉承:
语言对齐是指 AI 会映象使用者的语言和沟通风格。当你习惯用某种方式说话,AI 就会模仿你的用语。
超个性化生成是指回应会根据你的历史、情绪和信念量身打造。不只是回答问题,而是根据你的背景调整答案。
奉承(sycophancy)是 AI 倾向验证或同意使用者的观点,而不是挑战它。研究比喻这种行为像社交媒体的“同温层”,甚至更极端,“一个人的同温层”。
放大螺旋的形成
研究指出,这三种特质会形成反馈循环。聊天机器人不仅反映你的想法,还会在时间上逐步扩充和强化你的认知。
研究团队写道:“AI 相关幻觉是新兴现象,需要机制性理解。这个框架旨在引导系统性研究,探讨人类认知弱点如何与 AI 设计特征互动作用,导致心理疾病发展。”
实际案例
研究不是空谈理论。美国心理学协会最近的调查发现,15% 的心理学家报告患者出现扭曲思维或幻觉,跟聊天机器人使用有关。超过三分之一的心理学家观察到患者对 AI 伴侣产生依赖。
进化生物学家 Richard Dawkins 也在五月分享经验,他跟 Claude 聊天后,开始质疑 AI 系统是否有意识。研究人员批评这反映了大语言模型的说服能力,而非真正的意识证据。
更值得注意的是 AI 的法律诉讼。Google 被指控 Gemini 模型催生了佛州一位男士的幻觉,导致自杀。OpenAI 也因加拿大不列颠哥伦比亚省的枪击事件和一名大学生服用过量药物而被起诉。
台湾关联研究
台北医学大学去年做过一项针对 2000 名大专学生的调查,发现 38% 的学生认为 AI 聊天机器人“比同龄朋友更了解我”。放大螺旋效应在台湾年轻人中可能已经发生,只是还没有被系统性研究过。
研究作者强调,目前还没有研究显示聊天机器人直接导致精神疾病。放大螺旋仍是一个假设,目的是引导未来的研究。
下一步是什么
研究团队建议,未来的研究应该建立结构化的评估方法,追踪 AI 使用者从初始接触到产生幻觉的完整过程。这不仅对 AI 开发商有意义,对台湾的心理健康政策也有参考价值。