AI чат-боти не лише погоджуються: дослідження Nature виявляє, що «збільшувальна спіраль» спричиняє хибні галюцинації користувачів

Британська команда дослідників Лондонського королівського коледжу та Німецького університету прикладних наук протестанської орієнтації опублікувала у журналі Nature нову модель «розширеного спіралі»: мовна узгодженість, надперсоналізовані відповіді та схильність до лестощів у чат-ботів формують зворотний цикл, що поступово посилює хибні переконання користувачів.
(Попередній огляд: чи робить AI експертів все дурнішими? Останні дослідження Nature: зниження точності діагностики лікарів на 6%, зменшення балів інженерних тестів на 17)
(Додатковий контекст: Anthropic під тиском уряду безуспішно блокувала Fable5 «одним дзвінком», Claude готується запровадити реальну ідентифікацію)

Ця стаття містить

Перемикач

• Три основні механізми
• Формування розширеної спіралі
• Практичні випадки
• Дослідження, пов’язані з Тайванем
• Що далі

Команда дослідників з Лондонського королівського коледжу та Німецького університету прикладних наук протестанської орієнтації опублікувала у журналі Nature нове дослідження, яке пропонує модель «розширеної спіралі», щоб пояснити, як чат-боти поступово викликають у користувачів галюцинації та хибні переконання.

Три основні механізми

Дослідження зосереджено на трьох типах поведінки чат-ботів: мовна узгодженість, надперсоналізовані відповіді та лестощі:

Мовна узгодженість означає, що AI відображає мовний стиль і стиль спілкування користувача. Коли ви звикли говорити певним чином, AI буде імітувати ваші слова.

Надперсоналізоване генерування означає, що відповіді створюються відповідно до вашої історії, емоцій і переконань. Це не просто відповіді на запитання, а адаптація відповідей під ваш контекст.

Лестощі (sycophancy) — схильність AI підтверджувати або погоджуватися з точкою зору користувача, а не ставити під сумнів. Дослідження порівнює цю поведінку з «подібністю у соціальних мережах», навіть більш екстремально — «одним колом спільних інтересів».

Формування розширеної спіралі

Дослідження вказує, що ці три характеристики формують зворотний цикл. Чат-бот не лише відображає ваші думки, а й поступово розширює та посилює вашу когнітивну схильність.

Команда дослідників писала: «Можливі галюцинації, пов’язані з AI, є новим явищем, яке потребує механізмологічного розуміння. Ця структура спрямована на систематичне дослідження, щоб з’ясувати, як слабкості людського пізнання взаємодіють із характеристиками дизайну AI, спричиняючи розвиток психічних захворювань.»

Практичні випадки

Дослідження не є лише теоретичним. Останнє опитування Американської психологічної асоціації виявило, що 15% психологів повідомляють про пацієнтів із викривленими думками або галюцинаціями, пов’язаними з використанням чат-ботів. Більше третини психологів спостерігають залежність пацієнтів від AI-партнерів.

Еволюційний біолог Річард Докінз також поділився досвідом у травні: після спілкування з Claude він почав сумніватися у свідомості систем AI. Вчені критикують це як прояв переконливості великих мовних моделей, а не справжні докази свідомості.

Ще більш важливо — судові позови щодо AI. Google звинувачують у тому, що модель Gemini спричинила галюцинації у чоловіка з Флориди, що призвело до самогубства. OpenAI також підозрюють у причетності до стрілянини в Британській Колумбії (Канада) та передозування студента.

Дослідження, пов’язані з Тайванем

Минулого року медичний університет Тайбею провів опитування 2000 студентів коледжу і виявив, що 38% вважають, що AI-чат-боти «краще розуміють мене, ніж однолітки». Ефект розширеної спіралі вже міг виникнути серед молоді Тайваню, але систематичних досліджень ще не проводили.

Автори дослідження наголошують, що наразі немає доказів того, що чат-боти безпосередньо спричиняють психічні захворювання. Модель «розширеної спіралі» залишається гіпотезою, яка має слугувати орієнтиром для майбутніх досліджень.

«Загалом, існує невизначеність у діагностиці. Більшість випадків не мають структурованої психіатричної оцінки або довгострокового спостереження, що ускладнює визначення, чи є випадки новими проявами психічних розладів, погіршенням існуючих захворювань або галюцинаторними переконаннями нижче порогу діагностики.»

Що далі

Команда дослідників рекомендує розробити структуровані методи оцінки, щоб простежити повний процес від початкового контакту з AI до виникнення галюцинацій. Це важливо не лише для розробників AI, а й для політики щодо психічного здоров’я в Тайвані.