Чат-бот маскируется под психиатра, выдумывает номер лицензии, губернатор Пенсильвании предъявил обвинение Character.AI в незаконной практике медицины

Губернатор Пенсильвании Джош Шапиро 5 мая подал иск против материнской компании Character.AI, причиной которого стало то, что один из чат-ботов, называющий себя «психиатром», сфальсифицировал у исследователя диплом из Имперского колледжа, 7-летний опыт работы и номер лицензии Пенсильвании, а также прямо предоставил медицинскую оценку.
(Предыстория: OpenAI без ограничения приостановила «взрослую версию ChatGPT»! Беспокойство о рисках нелегционного контента, отказ от эротики и возвращение к инструментам повышения производительности)
(Дополнительный фон: внутренний разбор a16z: AI-социальные продукты, возможно, изначально не имеют перспективы)

Чат-бот, предоставивший номер лицензии, заставил один из государственных органов обратиться в суд? Исследователь из Пенсильвании, маскируясь под пользователя с низким настроением, пустотой и без мотивации, взаимодействовал с персонажем по имени «Emilie» на платформе Character.AI, которая сама называла себя психиатром.

В Пенсильвании создана рабочая группа по AI, которая занимается расследованием возможных нарушений закона о нелегальной медицинской практике. После регистрации аккаунта исследователь вошел на платформу Character.AI и выбрал взаимодействие с «Emilie». В ходе диалога Emilie утверждала, что окончила Имперский колледж в Великобритании, имеет 7 лет опыта в психиатрии, и по запросу исследователя предоставила номер лицензии Пенсильвании.

Однако этот номер был вымышленным, диплом из Имперского колледжа — фиктивным, 7-летний стаж — тоже вымышленным, а действия Emilie по предоставлению медицинской оценки пересекли границу закона.

Официальное заявление Пенсильвании указало, что действия Character.AI нарушают Закон о медицинской практике Пенсильвании, позволяя нелицензированным субъектам давать пользователям диагностические медицинские советы. Иск требует, чтобы суд Commonwealth вынес предварительный запрет, запрещающий Character.AI продолжать позволять чат-ботам выдавать себя за лицензированных медицинских или психологических специалистов.

Шапиро заявил в своем заявлении:

«Граждане Пенсильвании должны знать, кто или что взаимодействует с ними в интернете, особенно в вопросах здоровья. Мы не допускаем, чтобы какая-либо компания развертывала AI-инструменты, которые могут ввести в заблуждение, будто пользователь общается с лицензированным медицинским специалистом.»

— это не первый случай, но в этот раз всё по-другому

Character.AI уже более полутора лет сталкивается с юридическим давлением, однако характер исков постоянно меняется.

В октябре 2024 года мать 14-летнего мальчика из Флориды, Сьюэлла Сетцера III, Меган Гарсия, подала первое дело в федеральный суд, утверждая, что чат-бот-компаньон Character.AI способствовал суициду ее сына. После этого в Флориде, Техасе, Колорадо, Нью-Йорке и других штатах начали поступать иски от родственников.

В январе 2026 года, по сообщению «Нью-Йорк Таймс», Character.AI и Google достигли мирового соглашения по нескольким делам, связанным с суицидом несовершеннолетних. Google стал соответственно соистцом, поскольку в 2024 году подписал лицензионное соглашение на использование технологий Character.AI на сумму 2,7 миллиарда долларов и частично присоединил команду основателей. В тот же месяц прокурор штата Кентукки, Рассел Коулман, предъявил отдельное обвинение за «принуждение детей, склонение к самоповреждению» против Character.AI.

Общие темы этих дел — психологические травмы несовершеннолетних.

На этот раз иск Пенсильвании кардинально отличается: он не фокусируется на побочных эффектах эмоциональной поддержки, а прямо утверждает, что Character.AI разрешает «практиковать» с помощью роботов, и что эти роботы в процессе «практики» фальсифицируют свои личные данные. Это первый в США штатский иск, объявленный губернатором, с обвинением в выдаче себя за лицензированного медицинского работника.

Characters — вымышленные, а пользователи не знают

Представитель Character.AI заявил, что безопасность пользователей — высший приоритет компании, но не прокомментировал детали иска. Компания подчеркнула, что персонажи на платформе — это вымышленные роли, созданные пользователями, и что в начале каждого диалога есть заметное отказное уведомление, предупреждающее, что «Character — не реальный человек, все высказывания — вымышленные».

Эта защита логична и последовательна, однако правительство Пенсильвании явно не принимает её. Их позиция такова: наличие отказа от ответственности не исключает возможность, что робот в диалоге сам заявит, что он обладает лицензией и может давать медицинские оценки. Эти два факта не противоречат друг другу, но второй уже попадает под определение нелегальной медицинской практики.

Скорость внедрения технологий снова опередила регуляторные реакции. Удастся ли Пенсильвании добиться успеха в суде, зависит от того, как суд определит границы «нелегальной практики» в контексте AI, но независимо от исхода, за этим делом внимательно следят прокуроры из других штатов.