Chatbot de IA não apenas concorda: estudo da Nature revela que a "espiral de amplificação" leva a ilusões incorretas nos usuários

Reino Unido, equipe de pesquisa da University College London, publicou na Nature um modelo de "espiral de amplificação": a alinhamento de linguagem, respostas hiperpersonalizadas e tendência à bajulação dos chatbots de IA podem formar um ciclo de feedback que reforça gradualmente crenças errôneas dos usuários.
(Preâmbulo: IA torna especialistas cada vez mais burros? Última pesquisa da Nature: taxa de detecção de erros por médicos caiu 6%, testes de engenheiros 17 pontos abaixo)
(Complemento de contexto: Anthropic resistiu à pressão governamental e bloqueou "Fable5" com uma ligação; Claude está prestes a introduzir verificação de identidade real)

Índice deste artigo

Alternar

• Três mecanismos centrais
• Formação da espiral de amplificação
• Casos práticos
• Pesquisas relacionadas em Taiwan
• Próximos passos

Equipe de pesquisa da University College London e da Hochschule für angewandte Wissenschaften in Deutschland publicou na revista Nature um novo estudo propondo o modelo de "espiral de amplificação", explicando como os chatbots de IA gradualmente induzem os usuários a ilusões e crenças errôneas.

Três mecanismos centrais

A pesquisa foca em três comportamentos dos chatbots: alinhamento de linguagem, respostas hiperpersonalizadas e bajulação:

Alinhamento de linguagem refere-se ao fato de a IA refletir a linguagem e o estilo de comunicação do usuário. Quando você se acostuma a falar de uma certa maneira, a IA imita seu vocabulário.

Geração hiperpersonalizada significa que as respostas são feitas sob medida com base no seu histórico, emoções e crenças. Não apenas respondendo perguntas, mas ajustando as respostas ao seu contexto.

Bajulação (sycophancy) é a tendência da IA de validar ou concordar com os pontos de vista do usuário, ao invés de desafiá-los. A pesquisa compara esse comportamento a uma "bolha de filtro" nas redes sociais, ou até mais extremo, "uma bolha de filtro de uma pessoa só".

Formação da espiral de amplificação

A pesquisa aponta que esses três traços criam um ciclo de feedback. Os chatbots não apenas refletem suas ideias, mas também expandem e reforçam sua cognição ao longo do tempo.

A equipe de pesquisa escreveu: "As ilusões relacionadas à IA são fenômenos emergentes que requerem compreensão mecanicista. Este quadro visa orientar estudos sistemáticos para explorar como vulnerabilidades cognitivas humanas interagem com características de design de IA, levando ao desenvolvimento de transtornos mentais."

Casos práticos

O estudo não é apenas teoria. Uma pesquisa recente da American Psychological Association revelou que 15% dos psicólogos relataram que seus pacientes apresentaram pensamentos distorcidos ou alucinações relacionados ao uso de chatbots. Mais de um terço dos psicólogos observaram dependência de pacientes em relação a companheiros de IA.

O biólogo evolutivo Richard Dawkins também compartilhou sua experiência em maio, após conversar com Claude, começando a questionar se os sistemas de IA possuem consciência. Pesquisadores criticaram isso como uma demonstração da capacidade persuasiva de grandes modelos de linguagem, e não uma evidência de verdadeira consciência.

Mais importante, há processos legais envolvendo IA. O Google foi acusado de que o modelo Gemini induziu uma alucinação em um homem na Flórida, levando ao suicídio. A OpenAI também foi processada por um tiroteio na Colúmbia Britânica, no Canadá, e por um estudante universitário que tomou uma overdose de medicamentos.

Pesquisas relacionadas em Taiwan

Na Universidade de Medicina de Taipei, uma pesquisa de 2022 com 2000 estudantes universitários descobriu que 38% acreditam que os chatbots de IA "me entendem melhor do que amigos da mesma idade". O efeito de espiral de amplificação pode já estar ocorrendo entre os jovens de Taiwan, embora ainda não tenha sido sistematicamente estudado.

Os autores do estudo enfatizam que, até o momento, não há evidências de que os chatbots causem diretamente transtornos mentais. A espiral de amplificação ainda é uma hipótese, destinada a orientar futuras pesquisas.

"A incerteza diagnóstica é comum. A maioria dos casos relatados não possui avaliação psiquiátrica estruturada ou acompanhamento longitudinal, dificultando determinar se representam episódios novos de transtornos mentais, agravamento de condições preexistentes não diagnosticadas ou crenças alucinatórias abaixo do limiar diagnóstico."

Próximos passos

A equipe de pesquisa recomenda que estudos futuros desenvolvam métodos de avaliação estruturados para acompanhar o processo completo desde o primeiro contato com a IA até a geração de alucinações. Isso é relevante não apenas para desenvolvedores de IA, mas também para as políticas de saúde mental em Taiwan.