Enquête auprès du nouveau responsable des actualités de Meta : presque tous les modèles d'IA penchent à gauche politiquement, Gemini a déjà cité des médias officiels du Parti communiste chinois

Avant Campbell Brown, responsable des nouvelles chez Meta, a fondé Forum AI, après 17 mois d’évaluation systématique de la qualité de l’information produite par les modèles d’IA grand public, découvrant que Gemini citait des contenus du site officiel du Parti communiste chinois lorsqu’il traitait des reportages non liés à la Chine, et que presque tous les modèles testés présentaient une tendance politique de gauche.
(Précédent contexte : L’IA détruit la tradition de 133 ans de l’Université de Princeton : lorsque la « triche » devient progressivement la norme)
(Complément d’information : 97 895 conversations sur des forums underground vous disent : la communauté des hackers déteste aussi l’IA)

Table des matières de cet article

Basculer

• La question que personne ne teste
• Les erreurs fluides, plus difficiles à détecter que le silence
• La réglementation comme contrainte, pas la conscience morale

Brown est une ancienne journaliste, ayant été animatrice à CNN, puis responsable de l’information chez Meta, où elle gérait directement la politique de présentation de l’actualité à 3 milliards d’utilisateurs de Facebook dans le monde.

Ce poste lui a permis d’avoir une vue d’ensemble sur « comment les plateformes façonnent la circulation de l’information ». Elle a quitté Meta il y a 17 mois pour créer Forum AI à New York, une organisation spécialisée dans une tâche que les entreprises de modèles fondamentaux évitent généralement : l’évaluation systématique de la précision, de l’équité et de la diversité des perspectives dans l’information fournie par l’IA.

La question que personne ne teste

Le produit principal de Forum AI est une « architecture de référence pour les événements géopolitiques ».

Son fonctionnement : Forum AI invite un groupe de consultants de haut niveau, chacun ayant des spectres politiques et des expertises différents : Niall Ferguson, Fareed Zakaria, l’ancien secrétaire d’État américain Tony Blinken, l’ancien leader de la minorité à la Chambre Kevin McCarthy, l’ancien conseiller à la sécurité nationale Anne Neuberger… pour évaluer, pour un même événement géopolitique complexe, les réponses de modèles d’IA mainstream, en leur attribuant des notes.

Actuellement, Forum AI atteint un seuil d’environ 90 % de consensus avec des experts humains, ce qui confère à ses évaluations une base défendable, plutôt qu’une simple opinion individuelle.

Brown a identifié trois niveaux de problème, chacun plus difficile à corriger d’un point de vue technique.

Le premier est une faille dans la logique de sélection des sources. Gemini, lorsqu’il traite certains reportages sans lien avec la Chine, cite des contenus provenant de sites officiels du Parti communiste chinois. Ce n’est pas une erreur factuelle classique, mais un problème de logique de filtrage des sources : l’IA ne juge pas « qu’il s’agit de texte ou de lien », mais ne considère pas « la position de la source, sa crédibilité, ou si elle a une intention politique claire ».

La dimension politique de la source elle-même est invisible dans le processus de sortie de l’IA.

Le deuxième est une tendance politique structurelle. La plupart des modèles mainstream testés par Brown montrent une tendance à la gauche. Ce n’est pas une théorie du complot, mais une conséquence naturelle de la distribution des corpus d’entraînement. L’IA apprend à partir de textes, et tend à reproduire le ton et le cadre de position de ces textes.

Le contenu dominant sur Internet en anglais — médias mainstream, articles académiques, posts sur les réseaux sociaux — porte globalement une orientation politique spécifique. Les modèles entraînés héritent de cette tendance, sans en avoir conscience.

Ce qui est encore plus problématique, c’est que cette tendance n’est pas une erreur ou un bug à corriger, mais une caractéristique intégrée dans chaque logique de sortie du modèle.

Le troisième est un manque de contexte et de perspectives multiples. Brown indique que la majorité des modèles actuels manquent de « contexte de fond, de points de vue multiples et de transparence dans l’argumentation ». Les réponses de l’IA sont des déclarations, pas une structure du type « cette position, vue par le camp A, représente ceci, tandis que celle du camp B, c’est cela, et leur divergence fondamentale est… ».

Elle fournit une réponse, mais ne dit pas à partir de quel angle elle a été formulée.

Les erreurs fluides, plus difficiles à détecter que le silence

Brown souligne une faille structurelle : dans l’évaluation et le classement des modèles, les entreprises de modèles fondamentaux privilégient leurs capacités en mathématiques, codage et raisonnement logique, tandis que la précision de l’information et la diversité politique sont presque jamais incluses dans les benchmarks principaux.

Ce n’est pas difficile à comprendre. Le code a des erreurs objectives, et on peut le tester. Les questions mathématiques ont des réponses standard, et leur exactitude peut être mesurée. Mais « qu’est-ce qu’un reportage géopolitique précis et équitable » ? Qui peut juger cela ? Combien de personnes avec des points de vue différents doivent s’accorder pour que ce soit validé ? Il n’y a pas de solution d’ingénierie à cette question.

Dans un processus de développement produit piloté par des ingénieurs, basé sur des benchmarks pour définir le positionnement sur le marché, cette étape est systématiquement ignorée. Résultat : la précision de l’information devient un indicateur presque invisible dans l’évaluation des capacités de l’IA.

Le coût de cette omission peut se voir dans un cas concret. L’année dernière, la ville de New York a mené un audit de conformité sur un système de recrutement basé sur l’IA, pour vérifier si les outils de sélection utilisés par les employeurs respectaient la législation anti-discrimination. Selon l’audit, plus de la moitié des cas n’ont pas détecté de violations.

Le problème ne réside pas dans un faible taux de violations, mais dans le fait que cela pourrait indiquer que l’IA d’audit elle-même n’est pas suffisamment précise pour repérer ces violations, plutôt que qu’elles n’existent pas.

C’est le cœur de l’argument de Brown : le problème de l’IA, ce n’est pas seulement de fournir des faits erronés, mais de faire croire à l’utilisateur qu’ils sont corrects. Si une personne sait qu’elle ne connaît pas un sujet, elle peut encore chercher. Mais quand l’IA, avec un ton fluide, confiant, sans hésitation, donne une réponse fausse, la majorité des utilisateurs n’ont aucune raison de douter.

Les erreurs fluides, plus difficiles à détecter que le silence, sont aussi plus difficiles à corriger.

La réglementation comme contrainte, pas la conscience morale

Brown tranche : ce qui provoquera le changement, ce ne sera pas la pression morale ou l’opinion publique, mais le risque réglementaire pour les entreprises.

Son argument repose sur une réalité pragmatique : dans le contexte actuel de l’industrie de l’IA, personne n’a de motivation forte pour résoudre ces problèmes de manière proactive, tant que leur coût ne devient pas insupportable. Les décisions en matière de crédit, d’assurance, de recrutement, dans ces domaines, sont toutes régulées par la loi.

Dès qu’un résultat de l’IA présente des biais discriminatoires ou des inexactitudes, l’entreprise qui l’utilise doit en assumer la responsabilité légale. Cette pression remonte finalement jusqu’aux fournisseurs de modèles, qui seront contraints de fournir des sorties auditables, vérifiables, et dont la précision est garantie. Non pas parce qu’ils croient que c’est moralement juste, mais parce que leurs clients commerciaux exigent cette conformité dans leurs contrats.

Lerer Hippeau a investi l’année dernière 3 millions de dollars dans la levée de fonds initiale de Forum AI. Ce chiffre est modeste dans le secteur de l’IA, mais il témoigne d’un jugement : « l’évaluation de l’IA » est une opportunité commerciale, et cette demande pourrait croître plus rapidement que ce que l’on imagine.