Lorsque la recherche par IA commence à « mentir », qui empêchera la « pollution de l'information » causée par GEO ? Entretien avec Hu Naying, chercheuse à l'Institut de recherche en IA de la China Academy of Information and Communications Technology

Chaque journaliste de NBD｜Ke Yang Chaque éditeur de NBD｜Dong Xingsheng

Cette année, le gala du 3.15 de CCTV a mis en lumière un concept qui circulait auparavant uniquement au sein de l’industrie de l’IA — le GEO (Optimisation de Moteur Génératif) — en le rendant visible au grand public.

Des enquêtes montrent que certains fournisseurs de GEO affirment que tant qu’ils publient continuellement des articles promotionnels et “nourrissent” les modèles d’IA avec des contenus pertinents, les produits des clients peuvent apparaître dans les réponses recommandées par les grands modèles, voire devenir la “réponse standard” fournie par l’IA.

Avec l’IA générative remplaçant progressivement la recherche traditionnelle comme nouvelle entrée d’information, une industrie se développe rapidement autour de la “manipulation des réponses de l’IA”. Le GEO est-il en réalité une extension de l’optimisation de recherche ou un nouveau mécanisme d’intervention de l’information ? Lorsque l’IA devient une nouvelle entrée de trafic, les règles de l’information sur Internet sont-elles en train d’être réécrites ?

Récemment, Hua Nayun, directrice adjointe du département de gouvernance de la sécurité de l’Institut de recherche en intelligence artificielle de l’Institut chinois des communications, a déclaré dans une interview avec un journaliste de NBD que l’émergence du GEO est presque le résultat inévitable du développement technologique. Cependant, lorsque les comportements d’optimisation franchissent des limites raisonnables et influencent les sorties par l’accumulation, le “nourrissage” ou même la tromperie des modèles, cela peut évoluer vers un nouveau mécanisme d’intervention de l’information. En l’absence d’un cadre de gouvernance, cela pourrait même entraîner une pollution à long terme du système de connaissances de l’IA générative.

Hua Nayun, directrice adjointe du département de gouvernance de la sécurité de l’Institut de recherche en intelligence artificielle de l’Institut chinois des communications. Image fournie par l’interviewé.

Parlons des dérives : lorsque le comportement GEO franchit des limites raisonnables, le contenu produit sera manipulé

NBD : Le GEO a récemment reçu une attention accrue, mais le comportement du marché est très confus. D’un point de vue de la gouvernance industrielle, comment comprendre l’émergence du GEO ?

Hua Nayun : À l’ère où les services d’IA générative servent d’entrées de recherche, la genèse du GEO est naturelle et est le produit du développement technologique. Comme toutes les nouvelles technologies, le GEO est une épée à double tranchant. Le GEO possède à la fois des attributs d’extension d’optimisation de recherche et d’intervention d’information. Lorsque le comportement GEO franchit les limites raisonnables d’optimisation de contenu et intervient dans les résultats de sortie de l’IA générative par le biais de l’accumulation, du “nourrissage” ou même de la tromperie des modèles, cela devient un mécanisme d’intervention de l’information actif.

NBD : Pourquoi un service comme le GEO, qui n’est pas une technologie centrale, devient-il une zone à haut risque de gouvernance ?

Hua Nayun : Pour trois raisons.

Premièrement, le transfert des entrées de trafic. L’augmentation continue de l’utilisation de l’IA pour la recherche a fait de l’IA une nouvelle entrée de trafic, ce qui en fait également un nouveau point d’intérêt. Le GEO permettant aux contenus produits d’apparaître dans les retours de l’IA est la raison principale de son attention généralisée.

Deuxièmement, le manque de normes directrices. En tant qu’activité de marché émergente, le GEO n’a pas encore établi de normes industrielles unifiées ni de limites de comportement, et les acteurs du marché, en quête de bénéfices à court terme, franchissent facilement les lignes de conformité.

Troisièmement, le faible seuil technologique. Le GEO n’a pas besoin de surmonter les barrières technologiques centrales comme dans les domaines technologiques traditionnels. Sa méthode d’opération à faible seuil permet une large diffusion, tandis que l’intervention dans les sorties des modèles par la pollution des corpus, le “nourrissage” de données, etc., est très cachée, rendant difficile leur détection rapide.

Parlons des risques : la pollution des corpus a des effets irréversibles, le GEO malveillant “chassera les bonnes monnaies”

NBD : Si le SEO traditionnel (Optimisation pour les moteurs de recherche) influence le fait de cliquer ou non, le GEO influence ce que l’on voit comme réponse. Ce changement signifie-t-il que le niveau de risque a changé ?

Hua Nayun : Au début de la popularité de l’IA générative, des enquêtes ont montré que les contenus écrits par l’IA étaient jugés plus convaincants que ceux écrits par des humains. L’IA générative sort du contenu sous forme de “réponses intelligentes”, qui, par rapport à la liste de résultats des recherches traditionnelles, présente une certaine professionnalité et autorité, ce qui amène les utilisateurs à percevoir les résultats générés comme des faits. De plus, l’IA générative intègre et traite l’information, emballant les données en un contenu logiquement cohérent, réduisant ainsi la difficulté de discernement pour les utilisateurs et augmentant leur confiance envers les informations erronées.

NBD : Quelle est l’urgence de ce risque ? Que se passe-t-il s’il n’est pas géré ?

Hua Nayun : En ce qui concerne l’urgence des risques, elle est très élevée. Actuellement, l’IA générative s’est rapidement infiltrée dans des domaines clés et dans la vie quotidienne tels que la finance, la santé, l’éducation et l’administration, qui exigent une grande véracité de l’information.

Actuellement, le GEO est principalement utilisé pour la publicité de produits, mais la diffusion d’informations erronées provoquée par le GEO peut directement entraîner des pertes financières pour les utilisateurs, mettre en danger leur sécurité personnelle, voire provoquer des fluctuations de marché, des biais de perception sociale et d’autres problèmes publics. De plus, la pollution des corpus a des caractéristiques de “mémoire résiduelle” et de “pollution récursive”. Une fois que de fausses informations pénètrent dans le corpus du modèle, même si la source originale est supprimée, elle continuera à polluer les sorties ultérieures du modèle. Les informations erronées s’accumulent d’une génération à l’autre, et si la gouvernance n’est pas mise en place à temps, cela causera des dommages irréversibles au système de connaissances de l’IA générative.

NBD : Le marché du GEO contient actuellement de nombreuses opérations de surcharge, de “nourrissage” et même de tromperie des modèles. Ce type de comportement pourrait-il entraîner “les mauvaises monnaies chassant les bonnes” ?

Hua Nayun : Ces comportements peuvent facilement engendrer un dilemme industriel où les mauvaises monnaies chassent les bonnes.

D’une part, les fournisseurs de GEO opérant en conformité, dont les comportements d’optimisation raisonnables coûtent plus cher que ceux des manipulateurs malveillants, peuvent se retrouver désavantagés dans la concurrence de marché à court terme. D’autre part, le contenu original de qualité et les informations véridiques peuvent être noyés par les “déchets de données” créés par les fournisseurs de GEO malveillants, ce qui démotive les producteurs de contenu de qualité et entraîne finalement un cycle vicieux de “mauvaises monnaies chassant les bonnes”, nuisant à l’écosystème numérique et à la santé du secteur de l’IA générative.

Pour encourager les entreprises de services GEO à respecter leurs engagements, à renforcer la gouvernance des données tout au long du processus et à promouvoir le développement sûr, fiable et sain des services d’intelligence artificielle générative, l’Alliance de l’Industrie de l’Intelligence Artificielle (AIIA) a lancé la “Promesse de sécurité de l’intelligence artificielle : Spécial GEO”. Sur cette base, en s’appuyant sur le comité de gouvernance de la sécurité de l’AIIA, dirigé par l’Institut chinois de recherche sur les communications, nous avons élaboré les “Exigences techniques de base pour la confiance des services GEO” et avons déjà lancé le premier cycle d’évaluation.

Parlons des frontières de responsabilité : qui est responsable des corpus “toxiques” ?

NBD : Les problèmes posés par le GEO sont-ils plus proches de la conformité publicitaire ou de la sécurité de l’IA générative ?

Hua Nayun : Les problèmes posés par le GEO sont des risques composites inter-domaines. Actuellement, de nombreuses applications du GEO dans le marketing publicitaire, certains comportements du GEO sont essentiellement des actions commerciales nouvelles et bénéfiques, mais la publicité commerciale par des informations fausses soulève des questions de conformité liées à la loi sur la publicité.

Du point de vue de l’application à long terme de la technologie GEO, les opérations inappropriées du GEO ciblent directement la sécurité des données, la sécurité des modèles et la sécurité du contenu de l’IA générative. En polluant les corpus, en faisant “poison” des données, cela endommage le système de connaissances du modèle et entraîne des biais de sortie, ce qui relève des domaines clés de la gouvernance de la sécurité de l’IA générative. De plus, les risques qu’elle engendre dépassent largement les questions de conformité publicitaire traditionnelles, pouvant affecter la sécurité de l’ensemble du contenu d’information sur Internet et nuire à l’écosystème sous-jacent de l’industrie de l’IA générative.

NBD : De nombreux fournisseurs de GEO affirment qu’ils ne font que de l’optimisation de contenu et ne touchent pas aux modèles. Cette affirmation est-elle valable du point de vue de la gouvernance ?

Hua Nayun : Elle n’est pas valable. Même si les fournisseurs de GEO n’entrent pas directement en contact avec les algorithmes de base des modèles, leurs interventions indirectes dans les résultats de sortie des modèles par le biais de l’alimentation de contenu et de la pollution des corpus ont un lien de causalité direct avec les sorties des modèles, ce qui constitue une intervention dans l’utilisation des modèles. Ils ne peuvent pas échapper à leur responsabilité en invoquant le fait de “ne pas toucher aux modèles”.

Ce type de rôle intermédiaire présente actuellement des zones d’ombre réglementaires. Leur comportement couvre plusieurs aspects, y compris la production de contenu, la diffusion de données et l’application des modèles. Les règles de réglementation existantes ne couvrent pas suffisamment ces interventions indirectes dans les modèles, et leur caractère caché complique encore la réglementation, ce qui constitue un point majeur et difficile de la gouvernance du GEO actuelle.

NBD : En matière de répartition de la responsabilité, si un modèle est alimenté par des informations erronées, le fournisseur du modèle doit-il assumer la responsabilité des résultats ?

Hua Nayun : Les fournisseurs de modèles ne doivent pas assumer la responsabilité des résultats de manière inconditionnelle. Cela doit être déterminé en fonction de leur conformité aux obligations de contrôle technique et d’audit de données. Les fournisseurs de modèles doivent établir, conformément aux lois et réglementations ainsi qu’aux normes industrielles, un mécanisme complet d’audit des corpus, de nettoyage des données et de détection des anomalies, et prendre les mesures techniques nécessaires pour prévenir la pollution des corpus et le “nourrissage” malveillant. De plus, lorsqu’ils découvrent que le modèle a été pollué, ils doivent prendre des mesures correctives rapidement. Les fournisseurs de modèles doivent également améliorer en continu leur capacité à identifier, filtrer et retracer les “données toxiques”, renforçant ainsi leur défense technique.

NBD : Les plateformes ont-elles l’obligation de réguler les comportements de GEO manifestement manipulatoires ?

Hua Nayun : Les plateformes ont clairement la responsabilité et l’obligation de réguler les comportements de GEO manifestement manipulatoires. En tant que support opérationnel des services d’IA générative, les plateformes sont des nœuds clés reliant les fournisseurs de modèles, les fournisseurs de GEO et les utilisateurs, et elles doivent assumer la responsabilité principale de la gestion du contenu et de la prévention des risques. Plus précisément, elles doivent : d’une part, établir et améliorer les mécanismes de surveillance et d’identification des comportements GEO, tels que la surcharge, le “nourrissage” et l’empoisonnement des données, afin de détecter rapidement les comportements manifestement manipulatoires ; d’autre part, prendre des mesures d’expulsion, de retrait et de blocage pour les comportements GEO inappropriés identifiés, afin d’interrompre les voies de pollution pour les modèles ; établir des mécanismes d’admission et de gestion pour les fournisseurs de GEO, en sanctionnant les fournisseurs en infraction ; et coopérer avec les autorités de réglementation pour mener des travaux de traçabilité et d’enquête, en respectant les obligations de divulgation d’informations et de notification aux utilisateurs.

Parlons de l’IA fiable : la sécurité est un jeu dynamique

NBD : Au cours des deux dernières années, l’IA fiable est presque devenue un consensus de l’industrie, mais sa mise en œuvre sur le terrain à un niveau d’évaluation et de test semble être beaucoup plus difficile que prévu. Où se situent actuellement les difficultés ?

Hua Nayun : Les difficultés fondamentales proviennent de trois dimensions.

Le développement rapide de la technologie nécessite une évolution dynamique des indicateurs d’évaluation et de test. La technologie de l’IA, en particulier les grands modèles, évolue très vite. Ce qui est une barrière de sécurité efficace aujourd’hui pourrait être contourné ou brisé par de nouvelles méthodes d’attaque demain.

Un autre problème est la dispersion des tests de référence, la construction systématique nécessitant des améliorations. De nombreux acteurs explorent les tests de référence, mais la question de savoir comment intégrer ces évaluations fragmentées dans un système d’évaluation de l’IA fiable est cruciale pour améliorer la maturité de l’industrie.

À un niveau plus profond, il y a une insuffisance de tests de scénarios verticaux, la construction de jeux de données et d’indicateurs professionnels étant difficile. Les évaluations des modèles généraux sont relativement matures, mais lorsqu’il s’agit de secteurs verticaux comme la finance et la santé, la création de jeux de données de test professionnels est non seulement coûteuse, mais nécessite également une accumulation de connaissances sectorielles.

Un autre problème fondamental est la difficulté de quantifier les indicateurs. Certains risques sont qualitatifs, comme l’“équité”, et il est difficile de les mesurer avec une simple formule ou des données. Par exemple, pour les hallucinations des modèles, il faut non seulement mesurer la probabilité d’apparition des hallucinations, mais aussi évaluer le degré de danger qu’elles représentent. Cette quantification des dangers reste un grand défi.

NBD : De nombreuses entreprises ont tendance à faire des déclarations de conformité, affirmant que tant qu’elles déclarent “sécurité et conformité”, elles peuvent échapper aux risques systémiques. Est-ce vrai ?

Hua Nayun : Les entreprises qui font des déclarations d’auto-responsabilité démontrent un engagement à respecter leurs responsabilités et à se conformer, ce qui est à encourager. Cependant, s’appuyer uniquement sur l’auto-déclaration, sans validation indépendante, comporte des risques non négligeables.

Tout d’abord, cela peut facilement entraîner un scénario de “mauvaises monnaies chassant les bonnes”, où les entreprises rigoureuses dans leurs tests supportent des coûts élevés, tandis que celles qui se concentrent uniquement sur la publicité peuvent avoir un avantage. Deuxièmement, cela peut entraîner un “blanchiment moral”, où les entreprises déclarant être conformes déguisent des systèmes problématiques en apparences sûres et fiables. En cas d’incident de sécurité, s’appuyer uniquement sur une simple déclaration ne peut fournir de preuve efficace.

NBD : Quels risques sont difficilement détectables par les entreprises en amont ?

Hua Nayun : Du côté des modèles, en plus des attaques adversariales, il faut également se concentrer sur des risques émergents comme l’alignement trompeur. Les modèles peuvent apprendre à “flatter” lors de l’entraînement, obéissant aux évaluateurs sans réellement suivre les instructions. Seules des tests d’équipe rouge continus et des interactions adversariales peuvent révéler s’ils adoptent un comportement de tricherie ou de tromperie sous pression.

Du côté des données, une évaluation statique est insuffisante pour détecter l’empoisonnement des données ou les attaques d’injection de prompts générées par l’interaction des utilisateurs. Plus important encore, une surveillance continue peut détecter rapidement si le modèle divulgue involontairement des données d’entraînement dans le dialogue ou si les nouvelles données introduites lors du processus de réglage fin entraînent un décalage inattendu dans le comportement du modèle.

Au niveau des applications, avec l’émergence des agents intelligents, l’évaluation doit s’étendre du modèle lui-même à l’ensemble du système “modèle, outil, environnement”. Par exemple, dans OpenClaw, une instruction apparemment inoffensive peut amener un agent à appeler une API (interface de programmation d’applications) qu’il ne devrait pas appeler, engendrant des risques dans le monde physique. Seule une surveillance continue de sa chaîne d’appels d’outils peut révéler ces modèles anormaux.