OpenAI pousse de nouvelles fonctionnalités de sécurité pour ChatGPT alors que les procès s'accumulent

En résumé

• OpenAI affirme que ChatGPT peut désormais mieux repérer les signes d’automutilation ou de violence lors de conversations en cours.
• La mise à jour intervient alors que l’entreprise fait face à des poursuites et des enquêtes concernant des allégations selon lesquelles ChatGPT aurait mal géré des conversations dangereuses.
• OpenAI a déclaré que les nouvelles mesures de sécurité s’appuient sur des « résumés de sécurité » temporaires plutôt que sur une mémoire ou une personnalisation permanentes.

OpenAI a annoncé jeudi de nouvelles fonctionnalités de sécurité conçues pour aider ChatGPT à reconnaître les signes de risque croissant dans les conversations alors que l’entreprise fait face à une attention juridique et politique croissante sur la façon dont son chatbot gère les utilisateurs en détresse. Dans un article de blog, OpenAI a déclaré que les mises à jour améliorent la capacité de ChatGPT à identifier les signes d’alerte liés au suicide, à l’automutilation et à la violence potentielle en analysant le contexte qui se développe au fil du temps plutôt que de traiter chaque message séparément. « Les gens viennent chaque jour parler à ChatGPT de ce qui compte pour eux — des questions quotidiennes à des conversations plus personnelles ou complexes », a écrit l’entreprise. « Sur des centaines de millions d’interactions, certaines de ces conversations impliquent des personnes en difficulté ou en détresse. »

Selon OpenAI, ChatGPT utilise désormais des « résumés de sécurité » temporaires, qu’il décrit comme des notes à portée limitée capturant le contexte pertinent lié à la sécurité à partir de conversations antérieures.  « Dans des conversations sensibles, le contexte peut être aussi important qu’un seul message », a écrit l’entreprise. « Une demande qui semble ordinaire ou ambiguë à elle seule peut avoir une signification très différente lorsqu’elle est vue aux côtés de signes antérieurs de détresse ou d’intentions potentiellement nuisibles. » OpenAI a déclaré que ces résumés sont de courtes notes utilisées uniquement dans des situations graves, et non pour se souvenir de façon permanente des utilisateurs ou personnaliser les discussions, mais pour repérer les signes qu’une conversation devient dangereuse, éviter de donner des informations nuisibles, désamorcer la situation ou orienter les utilisateurs vers de l’aide.

« Nous avons concentré ce travail sur des scénarios aigus, notamment le suicide, l’automutilation et les dommages envers autrui », ont-ils écrit. « En collaboration avec des experts en santé mentale, nous avons mis à jour nos politiques et notre formation pour améliorer la capacité de ChatGPT à reconnaître les signes d’alerte qui apparaissent au cours d’une conversation et à utiliser ce contexte pour fournir des réponses plus prudentes. » L’annonce intervient alors qu’OpenAI fait face à plusieurs poursuites et enquêtes accusant ChatGPT de ne pas avoir répondu correctement à des conversations dangereuses impliquant violence, vulnérabilité émotionnelle et comportements risqués. En avril, le procureur général de Floride, James Uthmeier, a lancé une enquête sur OpenAI liée à des préoccupations concernant la sécurité des enfants, l’automutilation et la fusillade de masse de 2025 à l’Université d’État de Floride. OpenAI fait également face à une poursuite fédérale alléguant que ChatGPT aurait aidé le suspect à commettre l’attaque. Mardi, OpenAI et le PDG Sam Altman ont été poursuivis en cour de l’État de Californie par la famille d’un étudiant de 19 ans décédé d’une overdose accidentelle, la plainte alléguant que ChatGPT aurait encouragé une utilisation dangereuse de drogues et conseillé sur le mélange de substances. OpenAI a déclaré que la reconnaissance par ChatGPT du « risque qui ne devient évident qu’avec le temps » reste un défi permanent ; des méthodes de sécurité similaires pourraient éventuellement s’étendre à d’autres domaines. « Aujourd’hui, ce travail se concentre sur les scénarios d’automutilation et de préjudice envers autrui. À l’avenir, nous pourrions explorer si des méthodes similaires peuvent aider dans d’autres domaines à haut risque tels que la biologie ou la cybersécurité, avec des mesures de précaution appropriées », ont-ils écrit. « Cela reste une priorité continue, et nous continuerons à renforcer les mesures de sécurité à mesure que nos modèles et notre compréhension évoluent. »