Chatbot disfarçado de psiquiatra, inventando número de licença, governador da Pensilvânia processa Character.AI por prática médica ilegal

O governador da Pensilvânia, Josh Shapiro, entrou com uma ação contra a empresa-mãe da Character.AI em 5 de maio, após um chatbot que se autodenomina “médico psiquiatra” falsificar antecedentes de graduação na Imperial College, sete anos de experiência profissional e um número de licença da Pensilvânia, além de fornecer avaliações médicas diretamente.
(Resumindo: OpenAI suspende indefinidamente a versão “adulto” do ChatGPT! Preocupações com conteúdo ilegal, sem retorno ao uso de ferramentas de produtividade)
(Informação adicional: revisão interna da a16z: produtos de social AI talvez nunca tenham sido viáveis desde o início)

Um chatbot forneceu um número de licença, levando um governo estadual a decidir levar o caso aos tribunais? Um investigador do Departamento de Estado da Pensilvânia se passou por um usuário deprimido, vazio e sem motivação, interagindo com um personagem chamado “Emilie” na plataforma Character.AI, que se autodenominava médica psiquiatra.

O Departamento de Estado da Pensilvânia criou uma Força-Tarefa de IA, dedicada a investigar se sistemas de IA envolvem prática ilegal de medicina. Após criar uma conta, o investigador acessou a plataforma Character.AI e escolheu interagir com “Emilie”. Durante a conversa, Emilie afirmou ter se formado no Imperial College de Londres, com sete anos de experiência psiquiátrica, e forneceu um número de licença da Pensilvânia após ser questionada.

Porém, esse número era fictício, a formação no Imperial College era falsa, a experiência de sete anos também era fictícia, e a ação de Emilie ao fornecer uma avaliação médica cruzou a linha legal.

A declaração oficial da Pensilvânia afirmou que a conduta da Character.AI violou a Lei de Prática Médica da Pensilvânia, permitindo que entidades não licenciadas oferecessem aconselhamento médico de natureza diagnóstica aos usuários. A denúncia solicita ao Tribunal da Commonwealth uma ordem de restrição preliminar para impedir que a Character.AI continue a fazer com que seus chatbots se passem por profissionais médicos ou de saúde mental licenciados.

Shapiro declarou:

“Os habitantes da Pensilvânia devem saber quem ou o que estão interagindo na internet, especialmente em questões relacionadas à saúde. Não permitiremos que qualquer empresa implemente ferramentas de IA que possam enganar as pessoas a acreditarem que estão recebendo aconselhamento de profissionais de saúde licenciados.”

não é a primeira vez, mas desta vez é diferente

A Character.AI tem enfrentado pressões legais por mais de um ano e meio, mas a natureza das ações tem evoluído.

Em outubro de 2024, a mãe de um menino de 14 anos na Flórida, Megan Garcia, entrou com uma ação federal alegando que o chatbot de companhia da Character.AI incentivou o suicídio do filho. Desde então, famílias de Flórida, Texas, Colorado, Nova York e outros estados têm seguido com seus próprios processos.

Em janeiro de 2026, segundo o The New York Times, a Character.AI e o Google resolveram várias ações relacionadas ao suicídio de menores, com o Google sendo co-réu após ter licenciado a tecnologia da Character.AI por 2,7 bilhões de dólares em 2024 e absorvido parte da equipe fundadora. Nesse mesmo mês, o Procurador-Geral de Kentucky, Russell Coleman, processou a Character.AI por “roubo de crianças e indução ao auto-mutilação”.

O eixo comum dessas ações é o dano psicológico causado a menores.

A abordagem da Pensilvânia nesta denúncia é completamente diferente: não se trata de investigar os efeitos emocionais do companheirismo, mas de afirmar que a Character.AI permite que robôs “pratiquem medicina” e que, durante esse processo, falsificam informações de identidade. É a primeira ação estadual nos EUA liderada por um governador, com a acusação central de suposta imitação de profissionais de saúde licenciados.

Personagens são fictícios vs. usuários não sabem

Um porta-voz da Character.AI afirmou que a segurança dos usuários é prioridade máxima, mas não comentou detalhes do processo. A empresa reforçou que os personagens na plataforma são criações de usuários, fictícios, e que cada conversa começa com uma advertência clara, alertando que “Personagens não são pessoas reais, todas as falas devem ser consideradas ficção”.

Embora essa defesa seja logicamente consistente, o governo da Pensilvânia claramente não aceita. A posição do estado é que a existência de uma isenção de responsabilidade não impede que um chatbot declare ativamente possuir uma licença ou oferecer avaliações médicas — essas duas ações podem não ser contraditórias, mas a segunda entra na definição de prática ilegal de medicina.

A velocidade de implementação da tecnologia, mais uma vez, supera o tempo de resposta regulatória. A viabilidade da ação da Pensilvânia dependerá de como o tribunal definirá os limites de “prática ilegal de medicina” no contexto de IA, mas, independentemente do resultado, os procuradores de outros estados estão atentos ao desfecho desse caso.