OpenAI внедряет новые функции безопасности ChatGPT по мере роста количества судебных исков

Вкратце

• OpenAI заявляет, что ChatGPT теперь лучше распознает признаки самоповреждения или насилия во время текущих разговоров.
• Обновление выходит на фоне судебных исков и расследований по обвинениям в неправильной обработке опасных разговоров ChatGPT.
• OpenAI заявил, что новые меры безопасности основаны на временных «сводках по безопасности», а не на постоянной памяти или персонализации.

OpenAI в четверг объявила о новых функциях безопасности, предназначенных помочь ChatGPT распознавать признаки увеличивающегося риска в разговорах, поскольку компания сталкивается с растущим юридическим и политическим давлением по поводу того, как ее чат-бот обрабатывает пользователей в состоянии стресса. В блоге OpenAI сообщила, что обновления улучшают способность ChatGPT выявлять предупреждающие признаки, связанные с суицидом, самоповреждением и возможным насилием, анализируя контекст, развивающийся со временем, а не рассматривая каждое сообщение отдельно. «Люди приходят к ChatGPT каждый день, чтобы обсудить важные для них темы — от повседневных вопросов до более личных или сложных разговоров», — написала компания. «В сотнях миллионов взаимодействий некоторые из этих разговоров включают людей, испытывающих трудности или стресс.»

По словам OpenAI, ChatGPT теперь использует временные «сводки по безопасности», которые, как описано, являются узконаправленными заметками, фиксирующими релевантный контекст, связанный с безопасностью, из предыдущих разговоров.  «В деликатных разговорах контекст может иметь такое же значение, как и отдельное сообщение», — написала компания. «Запрос, который кажется обычным или неоднозначным сам по себе, может иметь совершенно иной смысл, если его рассматривать вместе с ранними признаками стресса или возможного вредоносного намерения.» OpenAI заявила, что сводки — это краткосрочные заметки, используемые только в серьезных ситуациях, а не для постоянного запоминания пользователей или персонализации чатов, и они предназначены для выявления признаков того, что разговор становится опасным, избегания распространения вредной информации, деэскалации ситуации или направления пользователей к помощи.

«Мы сосредоточили эту работу на острых сценариях, включая суицид, самоповреждение и вред другим», — написали они. «Работая с экспертами по психическому здоровью, мы обновили наши политики и обучение модели, чтобы улучшить способность ChatGPT распознавать предупреждающие признаки, возникающие в ходе разговора, и использовать этот контекст для более осторожных ответов.» Объявление выходит на фоне нескольких судебных исков и расследований, в которых утверждается, что ChatGPT неправильно реагировал на опасные разговоры, связанные с насилием, эмоциональной уязвимостью и рискованным поведением. В апреле генеральный прокурор Флориды Джеймс Утхмайер начал расследование в отношении OpenAI, связанное с опасениями по поводу безопасности детей, самоповреждения и массовой стрельбы 2025 года в Университете штата Флорида. Также OpenAI сталкивается с федеральным иском, в котором утверждается, что ChatGPT помог подозреваемому в вооруженном нападении осуществить атаку. Во вторник OpenAI и генеральный директор Сэм Альтман были обвинены в суде штата Калифорния семьей 19-летнего студента, умершего от случайной передозировки, с обвинением, что ChatGPT поощрял опасное употребление наркотиков и советовал о смешивании веществ. OpenAI заявил, что помощь ChatGPT в распознавании «рисков, которые становятся ясными только со временем», остается постоянной задачей; аналогичные методы безопасности могут в будущем расшириться и на другие области. «Сегодня эта работа сосредоточена на сценариях самоповреждения и вреда другим. В будущем мы можем изучить, могут ли подобные методы помочь в других высокорискованных сферах, таких как биология или кибербезопасность, при условии наличия тщательных мер предосторожности», — написали они. «Это остается приоритетом, и мы продолжим укреплять меры безопасности по мере развития наших моделей и понимания.»