L’IA a besoin d’une touche pause, mais qui a le droit de l’appuyer ?

Auteur : 小白

Cet article est une contribution originale de l’auteur. Les points de vue ne représentent que la compréhension personnelle de l’auteur. ETHPanda édite et compile le contenu.

Les débats autour de l’IA sont souvent simplifiés en deux camps : d’un côté, ceux qui prônent de continuer à accélérer ; de l’autre, ceux qui demandent d’arrêter au plus vite.

En réponse à « AI 2040: Plan A », Vitalik souligne que le véritable désaccord n’est pas un choix de politique, mais plutôt une divergence totale dans la façon dont les gens jugent l’avenir.

Selon un raisonnement, l’IA reste une « technologie ordinaire ». Elle changera l’emploi, les industries et la structure sociale, mais, au final, elle demeurera contrainte par le marché, le droit, l’énergie, le capital et les capacités d’organisation.

Selon l’autre raisonnement, dès lors que l’IA commence à participer à grande échelle à la recherche et au développement en IA, la croissance des capacités pourrait entrer dans une boucle rapide. À ce moment-là, ce que l’humain affrontera ne sera plus seulement le remplacement d’emplois, mais peut-être la perte progressive du contrôle réel sur la recherche, l’économie, l’armée et les institutions.

Si le premier raisonnement est juste, mettre en place un système mondial de traçage des puces, d’approbation de la puissance de calcul et de surveillance des centres de données relève clairement d’une réaction excessive.

Mais si le second raisonnement est juste, maintenir la course par défaut, en pensant que le marché résoudra tout automatiquement, revient aussi à un pari très risqué.

Ainsi, la gouvernance de l’IA n’a pas seulement besoin de répondre à la question « faut-il faire une pause ». Elle doit répondre à :

Lorsque l’on ne peut pas déterminer à quel monde l’avenir appartiendra, comment conserver la capacité de ralentir, sans pour autant remettre un pouvoir permanent à un petit nombre ?

Le cœur de « AI 2040 » : pas seulement « ralentir »

« AI 2040 » propose une feuille de route de transition vers une superintelligence relativement idéalisée.

Elle imagine que, via une coordination internationale, les principaux pays et les entreprises d’IA ralentissent le rythme du développement de l’IA de pointe, améliorent la transparence de la recherche, permettent à davantage de participants de rattraper des niveaux proches de la frontière, puis poursuivent une fois que les questions de sécurité et de gouvernance auront été traitées.

À mon avis, le problème majeur de ce plan n’est pas l’objectif, mais l’exécution.

Dès qu’il existe une partie qui entraîne secrètement des modèles plus puissants, les autres s’inquiètent d’être distancés et le protocole finit rapidement par devenir caduc. Par conséquent, pour rendre la pause crédible, il faut suivre les puces de haut niveau, surveiller les grands centres de données et déterminer à quoi la puissance de calcul est réellement utilisée : pour l’entraînement ou pour autre chose.

Cela signifie qu’afin d’empêcher qu’une superintelligence ne forme un nouveau centre de pouvoir, l’humanité devra peut-être d’abord créer un centre mondial de contrôle de la puissance de calcul.

C’est précisément le dilemme le plus difficile à résoudre dans les propositions de pause de l’IA :

Les mécanismes visant à empêcher la perte de contrôle de la technologie peuvent eux-mêmes devenir des outils de perte de contrôle du pouvoir.

Dire que « le risque lié à l’IA est grand » ne prouve pas automatiquement qu’un gouvernement, une organisation internationale ou un grand laboratoire devrait obtenir un pouvoir illimité.

De la même façon, dire que « la réglementation pourrait être détournée » ne prouve pas, en retour, que le risque lié à l’IA n’existe pas.

Ce qu’il faut réellement examiner, c’est la structure institutionnelle :

qui définit le danger, qui détient les données, qui a le droit de déclencher une restriction, qui peut recevoir une exemption, qui supervise l’exécution, et enfin si ce pouvoir peut être retiré une fois que l’on a eu tort.

Si ces questions n’ont pas de réponses, « la sécurité de l’IA » peut facilement devenir un document d’autorisation technique sans date de fin.

Entre la touche pause et le trône : il suffit d’une exemption

« Mettre l’IA en pause » semble être un geste simple, mais il peut en réalité correspondre à deux systèmes institutionnels totalement différents.

Le premier est une pause sélective.

Les détenteurs du pouvoir peuvent décider qui a le droit d’entraîner des modèles et qui doit s’arrêter ; qui appartient à des institutions considérées comme fiables et qui est vu comme un participant dangereux. Les autres sont limités, tandis que les détenteurs du pouvoir gardent eux-mêmes la possibilité de conserver des modèles, des puces et de la puissance de calcul.

Ce mécanisme n’arrête pas réellement la course : il fait simplement choisir à l’avance le gagnant.

Ce n’est pas une touche pause : c’est plutôt une place de trône.

Le second est une pause symétrique.

Lorsque des conditions de risque rendues publiques sont déclenchées, tous les principaux participants sont limités, y compris la partie chargée d’exécuter la pause. Il n’y a ni exemption secrète, ni possibilité d’exiger que les concurrents s’arrêtent tout en laissant son propre laboratoire continuer ses travaux.

Ce mécanisme ressemble davantage à un véritable disjoncteur.

Vitalik approuve explicitement que le Plan A introduise « l’assurance mutuelle de destruction de la puissance de calcul ». Par rapport à une approche où un petit nombre de participants peut restreindre de façon sélective les autres tout en s’exemptant, ce mécanisme est au moins plus symétrique.

Mais la symétrie ne règle pas automatiquement le problème.

Un système capable d’arrêter à grande échelle la puissance de calcul avancée à l’échelle mondiale est, par nature, un outil de pouvoir extrêmement puissant. Il peut être déclenché par de fausses informations, exploité dans des conflits politiques, manipulé par des initiés, et il peut aussi causer d’énormes pertes à cause de défaillances techniques.

Ainsi, pour qu’un mécanisme de pause soit crédible, il lui faut au minimum satisfaire plusieurs conditions :

les conditions de déclenchement doivent être publiques, les preuves ne doivent pas être monopolisées par une seule institution, les restrictions doivent être aussi symétriques que possible, la pause doit avoir une durée clairement définie, et les règles de redémarrage doivent aussi être écrites à l’avance.

Surtout, il ne faut pas seulement concevoir « comment entrer en état d’urgence », sans concevoir « comment en sortir ».

Dans la réalité, une fois que des institutions ont obtenu du pouvoir, elles ont souvent plus facilement tendance à prouver que le danger persiste plutôt qu’à rendre volontairement ce pouvoir.

Donc, le mécanisme de pause de l’IA lui-même a besoin d’une touche pause.

Le vrai regroupement de pouvoir ne vient pas seulement des entreprises et des gouvernements

Dans les discussions sur le pouvoir de l’IA, les gens s’inquiètent généralement de deux choses.

D’abord : quelques grandes entreprises monopolisent les modèles les plus puissants.

Ensuite : les gouvernements, au nom de la sécurité, contrôlent les puces, les données et les développeurs.

Mais Vitalik met en garde contre un troisième risque plus profond :

L’IA elle-même peut aussi devenir le plus grand concentrateur de pouvoir.

Aujourd’hui, l’humanité dispose d’un pouvoir de négociation parce qu’elle détient certaines ressources rares : le travail, la connaissance, les capacités d’organisation, le capital, le pouvoir politique et la force. Entre différents groupes, il faut négocier car aucune partie ne peut totalement contourner les autres.

Si l’IA devient plus rapide et moins coûteuse, et plus efficace que les humains, dans la recherche, la programmation, la gestion, la finance, la communication, l’attaque réseau, voire la planification militaire, alors ces capacités rares qui appartiennent aux humains se dévaloriseront rapidement.

À ce moment-là, même si dix entreprises d’IA se disputent le marché, cela ne signifie pas que l’humanité conserve encore le pouvoir de décision final.

La concurrence sur le marché peut limiter les profits d’une entreprise, mais elle ne garantit pas nécessairement que des personnes ordinaires conservent encore un pouvoir de négociation.

Ainsi, « confier le contrôle de la meilleure IA à des personnes de confiance » n’est pas une réponse complète.

Cela déplace seulement la question de « l’IA contrôlera-t-elle l’humanité ? » vers « quel petit groupe devrait obtenir en premier le pouvoir de contrôler la meilleure IA ».

d/acc constitue la base, mais ce n’est pas une réponse universelle

Le d/acc que Vitalik promeut depuis longtemps peut être compris comme le développement prioritaire de technologies défensives et décentralisées.

Par exemple : des logiciels plus sûrs, la vérification formelle, la cryptographie, le matériel ouvert, la défense réseau, la biosécurité et des outils de vérification de l’information.

La valeur de ces orientations réside dans le fait qu’elles ne dépendent pas d’un calendrier exact de superintelligence.

Si, au final, l’IA n’est qu’une technologie ordinaire, alors des logiciels plus sûrs, du matériel plus fiable et de meilleures capacités de défense publique méritent encore d’être construits.

Si l’IA devient rapidement plus puissante, ces technologies peuvent aussi améliorer la capacité de la société à résister aux attaques réseau, aux risques biologiques, aux portes dérobées matérielles et à la manipulation de l’information.

C’est une stratégie à faible regret : lorsque l’on ne sait pas à quel monde l’avenir appartiendra, construire d’abord une infrastructure de sécurité qui vaut quoi qu’il arrive.

Mais le d/acc n’est pas un remède miracle.

Si les capacités de l’IA font réellement un saut en très peu de temps, les technologies de défense peuvent ne pas avoir le temps d’être déployées. Des systèmes plus sûrs peuvent réduire le risque, mais ne prouvent pas pour autant que toutes les compétitions doivent continuer.

Ainsi, le d/acc est plus adapté comme base à long terme, tandis que les mécanismes de pause sont une assurance dans des circonstances extrêmes.

La base doit être construite en continu, l’assurance ne devrait pas s’enclencher facilement, mais on ne peut pas non plus attendre que le système soit déjà hors de contrôle pour commencer à concevoir.

Ce qui compte plus que prédire une date, c’est d’anticiper le fait de convenir des conditions de déclenchement

La suggestion la plus concrète et réaliste dans cet article long de Vitalik n’est pas de faire une pause immédiate à l’IA, mais de convenir à l’avance :

Après l’apparition de quelles preuves, toutes les parties doivent modifier leur jugement.

Aujourd’hui, demander à tout le monde d’être d’accord sur « la superintelligence apparaîtra en 2030 » ou « elle n’apparaîtra pas dans les vingt prochaines années » est presque impossible.

Mais des camps différents peuvent tout de même s’accorder à l’avance sur certains signaux de risque.

Par exemple :

l’IA peut-elle déjà accomplir de manière indépendante des tâches de recherche et développement continues sur plusieurs semaines ;

est-elle capable d’accélérer significativement le développement de la prochaine génération d’IA ;

dispose-t-elle de la capacité à découvrir et exploiter à grande échelle des failles réseau ;

commence-t-elle à se dupliquer de façon autonome, à obtenir des ressources ou à contourner la supervision ;

est-elle connectée à des armes, à des systèmes financiers et à des infrastructures essentielles ;

a-t-elle déjà causé des dommages sociaux continus à grande échelle.

Le point n’est pas de trouver un indicateur parfait : il s’agit de transformer le débat de « Crois-tu à la superintelligence ? » vers « Quelles preuves concrètes te feront mettre à jour ton jugement ? ».

Ceux qui pensent que le risque lié à l’IA est exagéré peuvent l’accepter, parce qu’ils croient que ces situations ne se produiront pas.

Ceux qui craignent la superintelligence peuvent aussi l’accepter, parce qu’ils pensent que ces signaux pourraient apparaître très bientôt.

Les deux camps n’ont pas besoin d’unifier d’abord leur vision du monde ; ils doivent seulement s’engager à l’avance :

Après un changement dans le réel, les politiques doivent aussi changer.

L’intervention ne devrait pas seulement exister à travers deux modes : continuer ou arrêter

La gouvernance de l’IA vraiment praticable ne devrait pas non plus faire un saut direct entre « développement totalement libre » et « arrêt mondial ».

La façon plus raisonnable consiste à mettre en place une intervention graduée.

Quand le risque est faible : augmenter la divulgation des capacités, les rapports d’accident et les tests par des tiers.

Quand le risque continue de monter : restreindre l’accès des modèles aux infrastructures essentielles, limiter des droits à haut risque comme l’exécution autonome, le transfert de fonds et le contrôle des armes.

Si l’IA a déjà de façon manifeste automatisé la recherche et le développement en IA, ou si plusieurs signaux graves apparaissent simultanément, alors il faut restreindre l’entraînement de nouveaux modèles de pointe et l’expansion de la grande puissance de calcul.

Ce n’est que lorsque des mesures de faible intensité ne suffisent plus à contrôler le risque que l’on passe à une pause plus large en portée et plus courte en durée.

Cette conception graduée n’a pas pour but d’affaiblir la réglementation. Elle vise à faire correspondre l’intensité des politiques à l’intensité des preuves.

Les institutions vraiment dangereuses ne sont pas celles qui n’ont pas les moyens d’adopter des mesures fermes : ce sont celles qui peuvent sauter toutes les étapes intermédiaires et obtenir un pouvoir illimité sous prétexte d’« état d’urgence ».

Conclusion

Le point vraiment difficile de la gouvernance de l’IA n’est pas le manque de positions : c’est l’absence d’une institution capable d’absorber des erreurs de jugement.

Continuer la compétition n’est pas un choix neutre.

Une pause mondiale n’est pas un choix neutre.

Les modèles ouverts ne sont pas naturellement sûrs, les modèles fermés ne sont pas naturellement responsables.

Un ensemble de mécanismes de gouvernance crédibles doit, au minimum, répondre à quatre questions :

Sur quelles preuves agit-il ?

Est-ce qu’il contraint aussi ceux qui détiennent le pouvoir ?

Peut-il faire l’objet d’une vérification externe ?

En cas d’erreur de jugement, est-ce que le pouvoir peut être retiré ?

À l’époque de l’IA, il faudra peut-être effectivement une touche pause.

Mais le vrai problème de la touche pause n’a jamais été de savoir si on peut la créer.

C’est plutôt :

Qui a le droit d’appuyer sur elle, qui a le droit de redémarrer, et comment s’assurer que personne ne pourra transformer ce bouton en son propre trône.