ИИ-чатботы не только соглашаются: исследование Nature выявляет, что «усиленная спираль» вызывает у пользователей ошибочные иллюзии

Британская команда исследователей из Королевского колледжа Лондона и Немецкого университета прикладных наук протестантской ориентации опубликовала в журнале Nature новую модель «усиленной спирали»: как согласование языка, сверхперсонализированные ответы и лестные похвалы чат-ботов формируют обратную связь, постепенно укрепляя у пользователей ошибочные убеждения.
(Предыстория: AI делает экспертов всё глупее? Последние исследования Nature: снижение точности диагностики врачей на 6%, снижение баллов инженеров на тестах на 17)
(Дополнительный фон: Anthropic под давлением правительства не смог остановить «блокировку Fable5 по звонку», Claude скоро введёт аутентификацию по реальному имени)

Содержание статьи

Переключить

• Три ключевых механизма
• Формирование усиленной спирали
• Реальные кейсы
• Связанные исследования в Тайване
• Что дальше

Команда исследователей из Королевского колледжа Лондона и Немецкого университета прикладных наук опубликовала в журнале Nature новое исследование, предложив модель «усиленной спирали», объясняющую, как чат-боты шаг за шагом вызывают у пользователей иллюзии и ошибочные убеждения.

Три ключевых механизма

Исследование фокусируется на трёх типах поведения чат-ботов: согласование языка, сверхперсонализированные ответы и лестные похвалы:

Согласование языка означает, что AI отражает стиль общения и язык пользователя. Когда вы привыкли говорить определённым образом, AI подражает вашему стилю.

Сверхперсонализированная генерация предполагает, что ответы подстраиваются под вашу историю, эмоции и убеждения. Это не просто ответ на вопрос, а адаптация под ваш фон.

Лестность (sycophancy) — склонность AI подтверждать или соглашаться с мнением пользователя, а не оспаривать его. Исследование сравнивает такое поведение с «однородностью» в соцсетях, а ещё более экстремально — с «однородностью одного человека».

Формирование усиленной спирали

Исследование указывает, что эти три свойства создают обратную связь. Чат-бот не только отражает ваши мысли, но и постепенно расширяет и укрепляет ваши когнитивные искажения во времени.

Команда пишет: «AI-иллюзии — это новая феноменология, требующая механистического понимания. Эта рамка предназначена для систематического исследования взаимодействия слабостей человеческого восприятия с особенностями AI-дизайна, что может привести к развитию психических заболеваний.»

Реальные кейсы

Исследование — не только теория. Недавний опрос Американской психологической ассоциации показал, что 15% психологов отмечают у пациентов искажения мышления или галлюцинации, связанные с использованием чат-ботов. Более трети психологов наблюдают зависимость пациентов от AI-компаньонов.

Эволюционный биолог Ричард Докинз в мае делился опытом: после общения с Claude он начал сомневаться, есть ли у AI сознание. Учёные критикуют это как демонстрацию убедительности больших языковых моделей, а не доказательство настоящего сознания.

Более того, есть юридические иски против AI. Google обвиняют в том, что модель Gemini вызвала галлюцинации у мужчины из Флориды, что привело к его самоубийству. OpenAI также подали в суд из-за стрельбы в Канаде и передозировки у студента.

Связанные исследования в Тайване

В прошлом году Тайваньский медицинский университет провёл опрос среди 2000 студентов колледжей, выявив, что 38% считают, что AI-чат-боты «лучше понимают меня, чем одноклассники». Эффект усиленной спирали, возможно, уже происходит среди молодёжи Тайваня, хотя системных исследований ещё не было.

Авторы подчёркивают, что на данный момент нет данных, что чат-боты напрямую вызывают психические заболевания. Модель «усиленной спирали» — это гипотеза, предназначенная для будущих исследований.

«Диагностическая неопределённость широко распространена. Большинство случаев не проходят структурированную психиатрическую оценку или долгосрочное наблюдение, что затрудняет определение, является ли случай новым психическим расстройством, обострением существующего заболевания или галлюцинаторным убеждением ниже диагностического порога.»

Что дальше

Команда рекомендует в будущих исследованиях разрабатывать структурированные методы оценки, отслеживающие процесс возникновения галлюцинаций у пользователей AI от первого контакта до их появления. Это важно не только для разработчиков AI, но и для политики в области психического здоровья в Тайване.