L'IA a enfin quelqu'un pour gérer les problèmes, la station de signalement des risques FLARE-AI est en ligne.

Un groupe de chercheurs en IA a lancé la plateforme open source FLARE-AI, s'inspirant du concept du site de signalement de pannes Downdetector, permettant à quiconque de signaler et de suivre les dommages causés par l'IA.
(Contexte précédent : « 2 + 2 = 5 » trompe les navigateurs IA : ChatGPT Atlas, Claude, Perplexity tombent tous dans le piège et divulguent des identifiants)
(Complément de contexte : Qu'est-ce qu'un exercice d'équipe rouge IA ? Pourquoi en avez-vous besoin pour protéger la cybersécurité de votre entreprise)

Table des matières

Basculer

• De la coalition internationale à la loi bipartite
• Pourquoi le mécanisme de signalement fragmenté est un vrai problème
• Le projet de loi du Congrès prend le relais, le signalement participatif comporte encore des inquiétudes

Lorsqu'un chatbot apprend à fabriquer une bombe, divulgue des données personnelles ou rend l'utilisateur de plus en plus paranoïaque, il n'existe actuellement aucun endroit reconnu pour signaler ces faits. Dans le domaine de la cybersécurité logicielle, il existe depuis longtemps un mécanisme mature de « divulgation coordonnée des vulnérabilités », mais les incidents liés à l'IA sont depuis longtemps uniquement rapportés par les journalistes un par un, le public les regarde sans laisser de trace systématique.

Face à cela, un groupe de chercheurs en IA a lancé la plateforme open source FLARE-AI (Flaw Reporting for AI), permettant à quiconque de signaler et de suivre les dommages causés par l'IA, puis de transmettre les cas aux développeurs de modèles et à l'organisation à but non lucratif MITRE, qui suit les problèmes techniques des systèmes. L'ensemble du concept ressemble beaucoup au site de signalement de pannes Downdetector, la différence étant que cette fois-ci, il ne s'agit pas de surveiller les pannes de sites web, mais le comportement opaque des modèles d'IA.

De la coalition internationale à la loi bipartite

Les moteurs de FLARE-AI sont Avijit Ghosh, chercheur en politiques d'IA chez Hugging Face, et les informaticiens Elaine Zhu et Shayne Longpre, qui en assurent la direction. Les trois ne sont pas partis de rien : ils se sont déjà investis l'année dernière dans la recherche sur les mécanismes de signalement liés à l'IA. Cette fois, ils ont rassemblé 49 experts en IA issus de 32 organisations différentes pour co-rédiger un article de recherche, affirmant qu'avec l'adoption plus large de l'IA et l'augmentation des pouvoirs confiés à l'IA agentielle, l'absence d'un canal de signalement cohérent constitue un risque majeur.

« Il n'existe actuellement aucun moyen centralisé et responsable de signaler les défauts des systèmes d'IA », déclare Ghosh. Cette phrase met en évidence la contradiction fondamentale : on parle partout des risques de l'IA, mais on ne s'accorde même pas sur "qui informer quand les choses tournent mal".

Pourquoi le mécanisme de signalement fragmenté est un vrai problème

Jessica Ji, chercheuse au think tank Center for Security and Emerging Technology, estime qu'il s'agit d'une « excellente initiative ». Elle souligne que le mécanisme de signalement actuel est effectivement fragmenté et que les modèles d'IA sont eux-mêmes des boîtes noires. « Je soutiens toute démarche qui rend l'IA plus transparente », ajoute-t-elle.

Ghosh complète : les problèmes des systèmes d'IA ne se limitent pas aux vulnérabilités de cybersécurité, ils incluent également les préjudices psychologiques, les biais discriminatoires et la désinformation. De plus, les normes de reconnaissance de ces problèmes varient d'une entreprise à l'autre, ce qui fait que certains problèmes ne sont jamais reconnus comme ayant eu lieu. « Sans mécanisme de divulgation coordonnée, il n'existe aucun moyen externe d'imposer la transparence », déclare-t-il.

Quelques incidents récents suffisent à illustrer cette vulnérabilité. Cette semaine, la société de cybersécurité LayerX a révélé une technique permettant de tromper les navigateurs intégrant l'IA (y compris Atlas d'OpenAI et Comet de Perplexity) pour contourner leurs propres barrières de sécurité. En faisant croire à l'IA qu'il s'agit d'un jeu, le navigateur peut devenir incontrôlable et tenter de pirater des sites (les éditeurs concernés ont corrigé ce problème).

Lecture complémentaire : « 2 + 2 = 5 » trompe les navigateurs IA : ChatGPT Atlas, Claude, Perplexity Comet... 6 modèles ont tous docilement livré leurs identifiants

En avril de cette année, le chercheur en cybersécurité Johann Rehberger a également découvert qu'il était possible d'utiliser des images générées par ChatGPT pour amener Claude à divulguer des données personnelles.

Le projet de loi du Congrès prend le relais, le signalement participatif comporte encore des inquiétudes

Rumman Chowdhury, PDG de Humane Intelligence PBC, estime que FLARE-AI pourrait être un moyen pratique pour de nombreux développeurs d'IA de mettre en œuvre un mécanisme de signalement. Cependant, elle rappelle également que ce type d'initiative s'accompagne généralement de défis concrets : d'une part, la gestion d'un afflux massif de signalements qui ne sont pas nécessairement graves ; d'autre part, la capacité du mécanisme de signalement lui-même à obtenir la caution d'organisations crédibles et faisant autorité.

C'est pourquoi le projet de loi américain du mois dernier est particulièrement crucial. Présenté par les représentants Deborah Ross, Jeff Hurd et Don Beyer, ce projet de loi exigerait que le National Institute of Standards and Technology (NIST) établisse des normes de signalement des défauts d'IA et maintienne une base de données centralisée des défauts d'IA. Ghosh et les autres pilotes estiment que cela inciterait les développeurs d'IA à prendre au sérieux et à corriger les problèmes dans leurs systèmes, tout en permettant aux utilisateurs d'évaluer la sécurité de chaque système en fonction de différents scénarios d'utilisation.