Je viens d'apprendre quelque chose qui ressemble à un scénario tiré de 1984 mais qui s'est réellement produit récemment dans une école du Royaume-Uni. Littéralement, une IA a censuré Orwell.

À Manchester, une école secondaire a décidé d'utiliser l'intelligence artificielle pour examiner sa bibliothèque. L'IA leur a fourni une liste de 193 livres à retirer, avec des raisons pour chacun. Et devine lequel était sur la liste : 1984 de George Orwell, parce qu'il contenait "des thèmes de torture, de violence et de coercition sexuelle". L'ironie est que 1984 parle précisément d’un gouvernement qui contrôle tout, réécrit l’histoire et décide ce que les citoyens peuvent lire. Et voilà qu’une IA faisait la même chose.

Le bibliothécaire de l’école a trouvé cela absurde et a refusé de suivre les recommandations. Mais l’administration n’était pas d’accord. Ils l’ont accusé d’introduire des livres inappropriés et l’ont dénoncé aux autorités locales. Le stress a été tel qu’il a demandé un congé maladie et a finalement démissionné. Et le pire : les autorités ont conclu qu’il avait effectivement violé les procédures de sécurité pour les enfants. Celui qui résistait à l’IA a perdu son emploi. Celui qui l’a acceptée sans questionner, sans conséquences.

Ensuite, il a été révélé que l’école savait parfaitement que tout venait de l’IA. Dans des documents internes, ils ont écrit que même si les catégories avaient été générées par l’IA, "nous pensons que cette classification est approximativement précise". Approximativement. Une institution a délégué une décision fondamentale à un algorithme qu’elle ne comprenait même pas, et un administrateur l’a approuvée sans rien vérifier.

La même semaine, quelque chose de complètement différent s’est produit sur Wikipedia. Alors qu’une école laissait l’IA décider ce que ses étudiants pouvaient lire, la plus grande encyclopédie en ligne du monde a pris la décision opposée : interdire à l’IA d’écrire ou de réécrire du contenu. Le vote a été de 44 pour, 2 contre. La raison : un compte d’IA appelé TomWikiAssist qui avait créé des articles automatiquement.

Le problème est mathématique : une IA peut écrire un article en quelques secondes, mais un volontaire humain met des heures à vérifier les faits, les sources et la rédaction. Wikipedia n’a pas assez d’éditeurs pour revoir tout ce qu’une IA pourrait produire. Mais il y a quelque chose de plus profond : Wikipedia est l’une des principales sources de données pour entraîner des modèles d’IA. L’IA apprend de Wikipedia, puis écrit de nouveaux articles pour Wikipedia, qui à son tour entraîne la prochaine génération d’IA. Si l’IA contamine ces données, un cycle se crée où la contamination s’amplifie. Les données empoisonnent l’IA, et l’IA empoisonne les données.

Cette même semaine, OpenAI a aussi fait marche arrière. Elle a suspendu indéfiniment le "mode adulte" de ChatGPT, une fonction que Sam Altman avait annoncée personnellement il y a plusieurs mois. Le comité de santé interne a voté à l’unanimité contre. Leurs préoccupations étaient claires : les utilisateurs pourraient développer une dépendance émotionnelle malsaine à l’IA, et les mineurs trouveraient des moyens de contourner la vérification d’âge. Quelqu’un a été plus direct : sans améliorations, cela pourrait devenir un "entraîneur de suicide sexy". Le système de vérification d’âge a plus de 10 % d’erreur. Avec 800 millions d’utilisateurs actifs par semaine, cela signifie des dizaines de millions mal classés.

Ce n’était pas tout. Ils ont aussi retiré Sora, l’outil vidéo avec IA, et la fonction de paiement instantané de ChatGPT. Altman a dit qu’ils se concentraient sur leur activité principale et éliminaient "les tâches secondaires". Mais OpenAI se prépare à entrer en bourse. Une entreprise qui s’efforce d’être cotée en bourse et qui supprime intensément des fonctions controversées n’est probablement pas totalement honnête avec elle-même.

Regarde, cinq mois avant, Altman disait qu’il fallait traiter les utilisateurs comme des adultes. Cinq mois plus tard, il a découvert que même sa propre entreprise ne savait pas ce que l’IA pouvait ou ne pouvait pas faire. Même ceux qui créent l’IA n’ont pas cette réponse.

En voyant ces trois événements ensemble, le problème devient évident : la vitesse à laquelle l’IA produit du contenu n’est plus compatible avec la vitesse à laquelle les humains peuvent le vérifier. Ce directeur de Manchester ne faisait pas confiance à l’IA ; il ne voulait simplement pas perdre le temps qu’aurait pris un bibliothécaire pour lire 193 livres. C’est un problème économique. Le coût de génération est presque nul. Tous les coûts de vérification sont supportés par les humains.

Ainsi, chaque institution a réagi de la manière la plus radicale : Wikipedia a interdit directement, OpenAI a supprimé des lignes de produits. Aucune de ces mesures n’était une solution réfléchie ; ce sont des mesures d’urgence pour combler des trous. Et cela devient la norme.

L’IA se met à jour tous les quelques mois. Il n’existe pas de cadre international cohérent sur ce que l’IA peut ou ne peut pas toucher. Chaque institution trace ses propres lignes internes, et elles sont contradictoires, sans coordination. Pendant ce temps, l’écart ne fait que se creuser. L’IA continue d’accélérer. Le personnel de vérification n’augmente pas. À un moment donné, cela va exploser en quelque chose de bien plus grave que la censure d’Orwell. Et quand cela arrivera, il sera probablement trop tard pour tracer une ligne.