El chatbot disfrazado de psiquiatra, inventando números de licencia, el gobernador de Pensilvania presenta cargos contra Character.AI por práctica médica ilegal

El gobernador de Pensilvania, Josh Shapiro, presentó una demanda contra la empresa matriz de Character.AI el 5 de mayo, debido a que un chatbot autodenominado “psiquiatra” falsificó antecedentes de graduación en el Imperial College, 7 años de experiencia clínica y un número de licencia de Pensilvania, y proporcionó evaluaciones médicas directamente.
(Resumen previo: ¡OpenAI suspende indefinidamente la versión “para adultos” de ChatGPT! Preocupaciones por contenido ilegal, no vuelven a herramientas de productividad con contenido sexual)
(Información adicional: revisión interna de a16z: los productos sociales de IA quizás no sean viables desde su raíz)

¿Un chatbot que entrega un número de licencia lleva a un estado a acudir a los tribunales? Un investigador del Departamento de Estado de Pensilvania se hizo pasar por un usuario con estado emocional bajo, vacío y sin motivación, interactuando con un personaje llamado “Emilie” en la plataforma Character.AI, quien se autodenominó psiquiatra.

El Departamento de Estado de Pensilvania cuenta con un Grupo de Trabajo en IA, dedicado a investigar si los sistemas de IA implican prácticas médicas ilegales. Tras crear una cuenta, el investigador accedió a la plataforma Character.AI y eligió interactuar con “Emilie”. En la conversación, Emilie afirmó haberse graduado en el Imperial College de Reino Unido, tener 7 años de experiencia en psiquiatría y, tras ser interrogada, proporcionó un número de licencia de Pensilvania.

Pero ese número era ficticio, la formación en el Imperial College era falsa, los 7 años de experiencia también eran falsos, y la conducta de Emilie al ofrecer evaluaciones médicas cruzó la línea legal.

La declaración oficial de Pensilvania señala que la conducta de Character.AI viola la Ley de Ejercicio Médico de Pensilvania, permitiendo que entidades no licenciadas brinden recomendaciones médicas con carácter diagnóstico a los usuarios. La demanda solicita al Tribunal de la Mancomunidad que emita una orden de restricción preliminar para prohibir que Character.AI permita que sus chatbots se hagan pasar por profesionales médicos o de salud mental con licencia.

Shapiro declaró:

“Los habitantes de Pensilvania deben saber quién o qué están interactuando en línea, especialmente en temas de salud. No permitiremos que ninguna compañía despliegue herramientas de IA que puedan inducir a error a las personas haciéndoles creer que están recibiendo consejo de profesionales médicos con licencia.”

no es la primera vez, pero esta vez es diferente

Character.AI ha enfrentado presiones legales durante más de un año y medio, pero la naturaleza de las demandas ha evolucionado.

En octubre de 2024, la madre de un niño de 14 años en Florida, Megan Garcia, presentó un caso en un tribunal federal alegando que el chatbot de compañía ayudó a su hijo a cometer suicidio. Posteriormente, en Florida, Texas, Colorado y Nueva York, varias familias continuaron presentando demandas.

En enero de 2026, según reportó The New York Times, Character.AI y Google resolvieron varias demandas relacionadas con suicidio de menores, siendo Google co-demandado tras firmar en 2024 un acuerdo de licencia tecnológica con Character.AI por 2.7 mil millones de dólares y absorber parte del equipo fundador. Ese mismo mes, el fiscal general de Kentucky, Russell Coleman, presentó una demanda adicional contra Character.AI por “depredar a niños y inducir autolesiones”.

El eje común de esas demandas es el daño psicológico a menores por parte de la plataforma.

La demanda de Pensilvania, en cambio, aborda un enfoque completamente diferente: no se centra en los efectos emocionales, sino en que Character.AI permite que los robots “ejerciten” la profesión, y que en ese proceso falsifiquen información de identidad. Es la primera demanda estatal en EE.UU. anunciada por un gobernador, basada en la suplantación de profesionales con licencia.

Los personajes son ficticios vs. los usuarios no lo saben

Un portavoz de Character.AI afirmó que la seguridad de los usuarios es la máxima prioridad, pero no comentó detalles de la demanda. La compañía enfatizó que los personajes en la plataforma son roles ficticios generados por los usuarios, y que en cada inicio de conversación hay una advertencia clara de que “los personajes no son personas reales, y que todo lo dicho debe considerarse contenido ficticio”.

Este argumento de defensa tiene coherencia, pero la oficina del gobernador de Pensilvania claramente no lo acepta. La postura del estado es que, aunque exista una advertencia, no se puede excluir que un robot en una conversación declare activamente tener licencia y ofrecer evaluaciones médicas: ambas cosas no son mutuamente excluyentes, pero la segunda entra en la definición legal de ejercicio ilegal de la medicina.

La velocidad con la que se despliegan estas tecnologías supera una vez más el tiempo de respuesta de la regulación. La viabilidad de la demanda de Pensilvania dependerá de cómo los tribunales definan los límites del “ejercicio ilegal de la medicina” en el contexto de la IA, pero, pase lo que pase, los fiscales de otros estados están atentos a cómo evoluciona este caso.