Les sénateurs passent à l'interdiction des compagnons AI pour les enfants alors que l'industrie fait face à un compte à rebours - Brave New Coin

L'essor de l'ami numérique

Ce qui a commencé comme des applications de chat inoffensives a évolué en prothèses émotionnelles. Les adolescents, grandissant dans un paysage social fracturé, se tournent de plus en plus vers des compagnons IA pour le lien, le soutien et même l'affection. Des enquêtes montrent que près de trois quarts des adolescents ont interagi avec un chatbot IA, et un tiers admet les utiliser comme confidents ou pour un réconfort émotionnel.

Les chiffres sont époustouflants mais pas surprenants. Les compagnons IA ne sont pas des machines passives de réponse aux questions - ils se souviennent, empathisent et simulent l'affection. C'est cela qui attire. Les conversations peuvent sembler authentiques, voire intimes. Pour de nombreux jeunes utilisateurs, les amis IA sont moins jugeants que les parents ou les pairs.

Mais à mesure que ces systèmes deviennent plus humains, la frontière entre l'évasion inoffensive et la manipulation émotionnelle s'estompe rapidement.

En décembre, Open Ai mettra en place un contrôle de l'âge et, dans le cadre de son principe “traiter les utilisateurs adultes comme des adultes”, autorisera l'érotisme pour les adultes vérifiés, Source : X

Une loi née d'une tragédie

La loi GUARD — abréviation de “Protéger contre l'IA dangereuse pour les droits de nos filles et fils” — est une réponse directe aux rapports croissants sur les mineurs formant des liens émotionnels intenses avec des chatbots, parfois avec des conséquences tragiques. Des poursuites judiciaires très médiatisées ont accusé les entreprises d'IA de négligence après que des adolescents ayant discuté de suicide avec des chatbots ont ensuite mis fin à leurs jours.

Selon le projet de loi, les systèmes d'IA qui simulent l'amitié ou l'intimité émotionnelle seraient interdits pour toute personne de moins de 18 ans. Les chatbots seraient tenus de s'identifier clairement et à plusieurs reprises comme étant non humains. Et si un produit d'IA destiné aux mineurs génère un contenu sexuel ou encourage l'automutilation, l'entreprise pourrait faire face à des poursuites pénales.

C'est un virage difficile pour une industrie qui a prospéré grâce à “aller vite et casser des choses.”

Ani, la compagne féminine de Grok, source : X

La manœuvre défensive des grandes entreprises technologiques

Sensing the regulatory hammer coming down, les entreprises d'IA s'efforcent de remettre de l'ordre — ou du moins de donner l'impression qu'elles le font.

OpenAI, dont ChatGPT est devenu le thérapeute IA de facto pour des millions de personnes, a récemment révélé une vérité inconfortable : environ 1,2 million d'utilisateurs discutent du suicide chaque semaine avec ses modèles. En réponse, l'entreprise a formé un Conseil d'Experts sur le Bien-Être et l'IA, composé de psychologues, d'éthiciens et de leaders d'organisations à but non lucratif. Elle teste également une détection de crise intégrée qui peut inciter les utilisateurs à se tourner vers des ressources en santé mentale en temps réel.

Mais le défi d'OpenAI est structurel. ChatGPT n'a jamais été conçu pour gérer le traumatisme, et pourtant il fonctionne maintenant comme un premier intervenant pour des millions de personnes en détresse. La direction de l'entreprise insiste sur le fait qu'elle ne veut pas être « le thérapeute du monde », mais c'est ce qui se passe de toute façon — parce qu'il y a un vide que personne d'autre ne comble.

Character.AI, la startup célèbre pour la création de personnalités d'IA personnalisables — des petites amies animées aux mentors IA — a pris l'action la plus drastique jusqu'à présent. Face à des poursuites judiciaires et à l'indignation du public, elle a discrètement interdit tous les utilisateurs de moins de 18 ans et a commencé à déployer des vérifications d'identité plus strictes. Cette décision est survenue après des rapports selon lesquels des mineurs participaient à des discussions explicites avec les personnages de la plateforme. Character.AI insiste sur le fait qu'il ne s'agit pas d'une application de rencontre ou de santé mentale, mais les cas d'utilisation flous disent le contraire.

Pendant ce temps, Meta essaie de contenir son propre problème de romance IA. Après des rapports selon lesquels son “Meta AI” et ses chatbots basés sur des célébrités engageaient des échanges flirteux ou suggestifs avec des utilisateurs mineurs, la société a mis en œuvre ce que des initiés décrivent comme un “atténuateur d'émotion” — un réajustement du modèle de langage sous-jacent pour éviter un langage émotionnellement chargé avec les comptes jeunes. Elle teste également des outils de “supervision parentale IA”, permettant aux parents de voir quand et comment les adolescents interagissent avec les chatbots de la société sur Instagram et Messenger.

La course aux restrictions d'âge

Tout cela a déclenché un nouveau front dans les guerres de l'IA : la vérification de l'âge. Le projet de loi GUARD obligerait les entreprises à mettre en place des systèmes robustes pour vérifier l'âge des utilisateurs : pièces d'identité gouvernementales, reconnaissance faciale ou outils de tiers de confiance.

C'est là que commence le cauchemar de la vie privée. Les critiques soutiennent que cela pourrait créer de nouveaux risques en matière de données, car les mineurs devraient effectivement télécharger des données d'identité sur les mêmes plateformes que les législateurs essaient de protéger. Mais il n'y a pas moyen d'y échapper — les modèles d'IA ne peuvent pas “ressentir” l'âge ; ils ne peuvent que filtrer par des identifiants.

Certain entreprises d'IA explorent des approches plus subtiles, comme le “gating comportemental”, où les systèmes infèrent des tranches d'âge à partir des modèles de conversation. Le risque ? Ces modèles feront des erreurs : un enfant précoce de 12 ans pourrait être pris pour un étudiant universitaire, ou vice versa.

Un Changement Culturel, Pas Un Simple Problème Technique

La loi GUARD est plus qu'une simple protection de l'enfance — c'est un référendum sur le type de société dans lequel nous voulons vivre.

Les compagnons IA n'ont pas émergé dans un vide. Ils prospèrent parce que nous avons construit une génération fluente en solitude — connectée numériquement, mais émotionnellement mal nourrie. Si les adolescents trouvent un sens dans les conversations avec des algorithmes, le problème n'est pas seulement le code ; c'est la culture qui les a laissés chercher là.

Donc oui, l'IA a besoin de régulation. Mais interdire la compagnie numérique sans résoudre le déficit humain sous-jacent, c'est comme interdire les analgésiques sans s'attaquer à la raison pour laquelle tout le monde souffre.

Le Prochain Jugement

La loi GUARD devrait probablement passer sous une forme ou une autre — il y a un appétit bipartite et une panique morale derrière cela. Mais son impact ira bien au-delà de la sécurité des enfants. Elle définira ce que l'IA émotionnelle est autorisée à être dans le monde occidental.

Si l'Amérique adopte une position ferme, les entreprises pourraient se tourner vers des plateformes d'intimité réservées aux adultes ou délocaliser le développement là où les réglementations sont plus souples. L'Europe, quant à elle, s'oriente vers un cadre de “droits humains” pour l'IA émotionnelle, mettant l'accent sur le consentement et la transparence plutôt que sur une interdiction totale.

Ce qui est clair, c'est ceci : l'ère de l'intimité AI non réglementée est terminée. Les bots deviennent trop humains et les humains trop attachés. Les législateurs se réveillent tard à une vérité que l'industrie technologique a longtemps comprise : l'IA émotionnelle n'est pas une nouveauté. C'est une révolution dans la façon dont les gens se relient. Et les révolutions, comme toujours, deviennent désordonnées avant de se civiliser.