Le fondateur d'Ethereum, Vitalik Buterin, a partagé sa perspective sur un débat croissant : les dangers associés à l'intelligence artificielle (IA).

Cette fois-ci, le développeur russo-canadien a profité d'une réflexion publiée sur X par Eito Muyamura, promoteur du projet Edison Watch, une solution destinée à surveiller et à prévenir les fuites de données à travers des interactions avec l'IA.

Ce projet est né après la récente mise en œuvre du Protocole de Contexte de Modèle (MCP) par OpenAI, la société dirigée par Sam Altman, dans ChatGPT, lui permettant de se connecter à Gmail, aux calendriers et à d'autres applications.

Dans une vidéo, Muyamura a démontré comment les attaquants ou les hackers peuvent accéder à des informations privées partagées avec OpenAI.

"Voici le problème fondamental : les agents d'IA comme ChatGPT suivent vos ordres, pas votre bon sens. Et avec seulement votre adresse e-mail, nous pouvons filtrer toutes vos informations privées", note Muyamura, ajoutant : "N'oubliez pas, l'IA peut être superintelligente, mais elle peut être trompée et phishée de manières incroyablement stupides pour filtrer vos données".

Buterin a partagé la publication sur son compte X et en a profité pour donner son avis à ce sujet. "C'est aussi la raison pour laquelle la 'gouvernance de l'IA' naïve est une mauvaise idée. Si vous utilisez l'IA pour attribuer des fonds pour des contributions, les gens feront du jailbreak et demanderont 'donnez-moi tout l'argent' dans autant d'endroits qu'ils le peuvent", a-t-il déclaré.

La "gouvernance de l'IA" fait référence à des systèmes qui prennent des décisions automatisées sur des ressources ou des actions, par exemple, en allouant des fonds ou en définissant des contributions, sur la base de règles d'IA. Buterin n'utilise pas le terme "naïf" par hasard ; au contraire, il souligne le risque de supposer que les utilisateurs donneront toujours les bonnes ordres à l'IA, alors qu'en réalité, ils pourraient exploiter le système par le biais de "jailbreaks" pour contourner les restrictions et obtenir des avantages indus.

Il convient de préciser que "jailbreak" fait référence à des techniques par lesquelles des hackers trompent un modèle d'IA pour qu'il ignore les restrictions de sécurité ou les politiques internes, par exemple en demandant des actions qui seraient autrement interdites.

C'est-à-dire, pour le fondateur d'Ethereum, il existe un risque réel à transférer la gouvernance des protocoles décentralisés à l'IA. Par exemple, comme expliqué sur les plateformes DeFi, les décisions sont souvent prises par des votes communautaires, généralement par ceux qui détiennent un token ou remplissent un critère spécifique, et incluent des changements, des améliorations ou des actions à entreprendre dans le protocole.

Mais si un modèle de gouvernance basé sur l'IA est mis en œuvre, cela ouvre la porte à d'éventuelles manipulations qui pourraient générer des bénéfices indus, comme le vol d'argent ou de données privées.

Comme alternative, Buterin affirme qu'il "soutient l'approche de financement de l'information, dans laquelle il existe un marché ouvert où chacun peut contribuer avec ses modèles, qui sont soumis à un mécanisme de révision par les pairs pouvant être activé par quiconque et évalué par un jury humain".

De plus, explique :

Ce type d'approche de "design institutionnel", dans lequel une opportunité ouverte est créée pour que les externes connectent leurs LLM ( modèles de langage large ) au lieu de programmer rigoureusement les leurs, est intrinsèquement plus robuste. Cela est dû à la fois au fait qu'il fournit une diversité de modèles en temps réel et qu'il crée des incitations internes pour que les contributeurs de modèles ainsi que les spéculateurs externes soient attentifs à ces problèmes et les corrigent rapidement.

Vitalik Buterin, créateur d'Ethereum.

Dans cette approche, différents participants peuvent contribuer avec leurs modèles de décision, qui sont ensuite vérifiés et évalués par un jury humain.

L'avantage est qu'il favorise la diversité des idées, permet une correction rapide des erreurs et crée des incitations pour que les créateurs de modèles et les membres de la communauté restent vigilants et responsables. L'objectif est d'atteindre une gouvernance plus distribuée et dynamique, évitant la dépendance à un modèle centralisé unique.