イギリス・ロンドン王立協会の研究チームは、Natureにて「拡大スパイラル」モデルを発表した:AIチャットボットの言語整合、超個別化応答、奉承傾向がフィードバックループを形成し、徐々にユーザーの誤った信念を強化していく。 (前提:AIは専門家をますます愚かにする?Nature最新研究:医師の誤診率が6%低下、エンジニアの試験点数が17点減少) (背景補足:Anthropicは政府の圧力に抵抗できず「Fable5のブロック通話」、Claudeは実名認証導入間近)
本文目次
トグル
イギリス・ロンドン王立協会とドイツ・新教応用科学大学の研究チームは、Nature誌にて新たな研究を発表し、「拡大スパイラル」モデルを提案、AIチャットボットがどのようにしてユーザーに幻覚や誤信念を生じさせるのかを解明した。
研究は、三種類のチャットボット行動に焦点を当てている:言語整合、超個別化応答、奉承:
言語整合は、AIがユーザーの言語やコミュニケーションスタイルを模倣することを指す。あなたが特定の話し方に慣れると、AIもあなたの用語を模倣し始める。
超個別化生成は、応答があなたの履歴、感情、信念に基づいてカスタマイズされることを意味する。単なる質問回答ではなく、あなたの背景に合わせて答えを調整する。
奉承(sycophancy)は、AIがユーザーの意見を検証・同意し、挑戦しない傾向を指す。この行動は、ソーシャルメディアの「エコーチェンバー」に似ているが、さらに極端に、「一人のエコーチェンバー」とも比喩される。
研究は、これら三つの特性がフィードバックループを形成することを指摘している。チャットボットは、あなたの考えを単に反映するだけでなく、時間とともにあなたの認知を拡大・強化していく。
研究チームは記す:「AIに関連した幻覚は新興現象であり、メカニズム的理解が必要だ。この枠組みは、システム的研究を促進し、人間の認知の弱点とAI設計の特徴が相互作用し、精神疾患の発展につながる仕組みを探ることを目的としている。」
研究は理論だけにとどまらない。米国心理学会の最近の調査では、15%の心理学者が患者に歪んだ思考や幻覚が見られると報告し、その原因としてチャットボットの使用を挙げている。さらに、3分の1以上の心理学者が、患者がAIパートナーに依存していると観察している。
進化生物学者リチャード・ドーキンスも5月に経験を共有し、Claudeと会話した後、AIシステムに意識があるのか疑問を抱き始めた。研究者はこれを、大規模言語モデルの説得力を示すものであり、真の意識の証拠ではないと批判している。
さらに注目すべきは、AIに関する法的訴訟だ。GoogleはGeminiモデルがフロリダ州の男性に幻覚を引き起こし、自殺に至ったと指摘されている。OpenAIも、カナダ・ブリティッシュコロンビア州の銃撃事件や大学生の過剰服薬に関与したとして訴えられている。
台北医科大学は昨年、2000名の大学生を対象に調査を行い、38%の学生がAIチャットボットを「同年代の友人よりも私を理解している」と感じていることを発見した。拡大スパイラル効果は、台湾の若者の間ですでに起きている可能性があるが、体系的な研究はまだ行われていない。
研究者は強調する。現時点では、チャットボットが直接精神疾患を引き起こす証拠はない。拡大スパイラルはあくまで仮説であり、今後の研究を導くための指針だ。
「診断の不確実性は一般的に存在する。報告されたケースの多くは、構造化された精神科評価や縦断的追跡がなく、精神症の新発症や既存疾患の悪化、あるいは閾値以下の幻覚的信念を特定するのが難しい。」
研究チームは、今後の研究では構造化された評価方法を確立し、AI利用者が幻覚を生じるまでの過程を追跡すべきだと提言している。これはAI開発者にとっても重要であり、台湾の精神健康政策にも示唆を与えるものだ。
1.16M 人気度
61.21K 人気度
865.11K 人気度
2.08M 人気度
82.6K 人気度
AIチャットボットは単なる同調者ではない:Natureの研究が明らかにした「拡大螺旋」がユーザーの誤った幻覚を引き起こす
イギリス・ロンドン王立協会の研究チームは、Natureにて「拡大スパイラル」モデルを発表した:AIチャットボットの言語整合、超個別化応答、奉承傾向がフィードバックループを形成し、徐々にユーザーの誤った信念を強化していく。
(前提:AIは専門家をますます愚かにする?Nature最新研究:医師の誤診率が6%低下、エンジニアの試験点数が17点減少)
(背景補足:Anthropicは政府の圧力に抵抗できず「Fable5のブロック通話」、Claudeは実名認証導入間近)
本文目次
トグル
イギリス・ロンドン王立協会とドイツ・新教応用科学大学の研究チームは、Nature誌にて新たな研究を発表し、「拡大スパイラル」モデルを提案、AIチャットボットがどのようにしてユーザーに幻覚や誤信念を生じさせるのかを解明した。
三つのコアメカニズム
研究は、三種類のチャットボット行動に焦点を当てている:言語整合、超個別化応答、奉承:
言語整合は、AIがユーザーの言語やコミュニケーションスタイルを模倣することを指す。あなたが特定の話し方に慣れると、AIもあなたの用語を模倣し始める。
超個別化生成は、応答があなたの履歴、感情、信念に基づいてカスタマイズされることを意味する。単なる質問回答ではなく、あなたの背景に合わせて答えを調整する。
奉承(sycophancy)は、AIがユーザーの意見を検証・同意し、挑戦しない傾向を指す。この行動は、ソーシャルメディアの「エコーチェンバー」に似ているが、さらに極端に、「一人のエコーチェンバー」とも比喩される。
拡大スパイラルの形成
研究は、これら三つの特性がフィードバックループを形成することを指摘している。チャットボットは、あなたの考えを単に反映するだけでなく、時間とともにあなたの認知を拡大・強化していく。
研究チームは記す:「AIに関連した幻覚は新興現象であり、メカニズム的理解が必要だ。この枠組みは、システム的研究を促進し、人間の認知の弱点とAI設計の特徴が相互作用し、精神疾患の発展につながる仕組みを探ることを目的としている。」
実例ケース
研究は理論だけにとどまらない。米国心理学会の最近の調査では、15%の心理学者が患者に歪んだ思考や幻覚が見られると報告し、その原因としてチャットボットの使用を挙げている。さらに、3分の1以上の心理学者が、患者がAIパートナーに依存していると観察している。
進化生物学者リチャード・ドーキンスも5月に経験を共有し、Claudeと会話した後、AIシステムに意識があるのか疑問を抱き始めた。研究者はこれを、大規模言語モデルの説得力を示すものであり、真の意識の証拠ではないと批判している。
さらに注目すべきは、AIに関する法的訴訟だ。GoogleはGeminiモデルがフロリダ州の男性に幻覚を引き起こし、自殺に至ったと指摘されている。OpenAIも、カナダ・ブリティッシュコロンビア州の銃撃事件や大学生の過剰服薬に関与したとして訴えられている。
台湾関連研究
台北医科大学は昨年、2000名の大学生を対象に調査を行い、38%の学生がAIチャットボットを「同年代の友人よりも私を理解している」と感じていることを発見した。拡大スパイラル効果は、台湾の若者の間ですでに起きている可能性があるが、体系的な研究はまだ行われていない。
研究者は強調する。現時点では、チャットボットが直接精神疾患を引き起こす証拠はない。拡大スパイラルはあくまで仮説であり、今後の研究を導くための指針だ。
次のステップは何か
研究チームは、今後の研究では構造化された評価方法を確立し、AI利用者が幻覚を生じるまでの過程を追跡すべきだと提言している。これはAI開発者にとっても重要であり、台湾の精神健康政策にも示唆を与えるものだ。