Consensus de table ronde de la World Artificial Intelligence Conference (WAIC) : les décisions sur les questions de « vie et de mort » humaines ne doivent jamais être confiées à l’IA

2026 世界人工智慧大會（WAIC）aujourd’hui s’est ouverte à Shanghai. Xue Lan, directrice de l’Institut international de gouvernance de l’intelligence artificielle de l’université Tsinghua, Nicholas B. Dirks, président de l’Académie des sciences de New York et directeur général, et Mark Nitzberg, directeur exécutif du Centre pour une IA compatible avec l’humain de l’université de Californie à Berkeley (CHAI), ont participé à une table ronde consacrée à la gouvernance des agents d’IA. Les trois sont très largement d’accord : l’IA passe de la « prise de décision assistée » à « l’action autonome », mais les décisions impliquant la vie et la mort, des situations irréversibles et des valeurs éthiques ne doivent jamais être pilotées par l’IA. Les humains peuvent autoriser l’IA à agir, mais pas l’autoriser à en porter la responsabilité. Cet article est tiré des échanges de la table ronde sur la gouvernance des agents d’IA, organisée dans le cadre de la « 2026 World Artificial Intelligence Conference ».
（Contexte : le directeur général de DeepMind plaide en faveur de la création d’un organe international de régulation qui « examine » les modèles d’IA de pointe, et qui doivent passer l’évaluation avant d’être mis sur le marché）
（Complément de contexte : expérience IA : donner à Gemini 20 000 dollars pour ouvrir un café en dur, et obtenir une tragédie que les humains ne veulent pas affronter）

Sommaire

Toggle

• Autoriser l’action, mais pas autoriser la responsabilité
• Trois types de décisions, jamais à confier à l’IA
• Trois lignes directrices d’ingénierie pour une IA digne de confiance

Résumé des points clés

• À la table ronde de la WAIC, il est avancé que l’IA passe de la « prise de décision assistée » à « l’action autonome », version numérique du problème classique de délégation et de mandataire.
• Trois grands « feux rouges » : décisions de vie ou de mort, scénarios irréversibles, jugements de valeurs éthiques — jamais à confier à l’IA en pilotage.
• Une IA digne de confiance doit présenter trois caractéristiques d’ingénierie : une base solide, une transparence opérationnelle, et un contrôle en situation d’utilisation.

Quand l’IA, qui vous aide d’abord à rechercher des informations et à formuler des recommandations, devient capable d’appeler des outils elle-même et d’exécuter directement des commandes, les anciens problèmes de l’éthique vont devoir être abordés. Aujourd’hui, la 2026 World Artificial Intelligence Conference a débuté à Shanghai. Lors d’une table ronde consacrée à la gouvernance des agents d’IA, Xue Lan, directrice de l’Institut international de gouvernance de l’intelligence artificielle de l’université Tsinghua, Nicholas B. Dirks, président de l’Académie des sciences de New York et directeur général, et Mark Nitzberg, directeur exécutif du Centre pour une IA compatible avec l’humain de l’université de Californie à Berkeley (CHAI) ont mis l’accent sur un tournant décisif : l’IA passe de la « prise de décision assistée » à « l’action autonome », devenant un agent intelligent chargé de faire les choses à la place des humains.

Les intervenants soulignent que, en réalité, il s’agit d’une toute nouvelle version du problème classique de « délégation et mandataire » à l’ère du numérique. Ce problème désigne le fait que vous demandez à quelqu’un d’agir pour vous, mais que celui-ci ne suit pas nécessairement parfaitement votre volonté. La différence est que le mandataire humain partage au moins avec vous un socle de bon sens et un mécanisme de redevabilité, tandis que l’IA présente deux difficultés

• d’une part, le « désalignement des objectifs » : l’objectif qu’elle cherche à atteindre peut ne pas correspondre à ce que vous vouliez
• d’autre part, c’est une « boîte noire » : on ne peut pas voir clairement le processus de fonctionnement, et en cas de problème, elle ne peut pas assumer une responsabilité juridique.

Autoriser l’action, mais pas autoriser la responsabilité

Puisque l’IA ne peut pas porter la responsabilité, la question de la reddition des comptes doit être déplacée sur l’ensemble de la chaîne d’exécution. Les invités soutiennent que la responsabilité doit retomber sur chaque maillon — développeurs, déployeurs, régulateurs, etc. — et pas être rejetée sur ce « modèle » qui « prend la décision ». Cela implique aussi qu’en considérer l’IA comme un objet que l’on peut utiliser comme bouc émissaire, dès le départ, c’est se tromper de direction.

Les humains peuvent autoriser l’action de l’IA, mais pas autoriser la responsabilité de l’IA. Chaque autorisation doit pouvoir être révoquée, et chaque action doit pouvoir être imputée.

Trois types de décisions, jamais à confier à l’IA

Sur les sujets où il faut freiner, les trois invités s’accordent fortement et tracent clairement trois lignes rouges : elles ne doivent jamais être laissées à l’IA en pilotage.

• Les décisions impliquant des conséquences de vie ou de mort
• Les situations où une erreur rend toute réparation impossible
• Tous les problèmes impliquant des jugements éthiques et de valeurs.

Ce n’est pas une question de savoir s’il faut utiliser l’IA ou non ; c’est une question de savoir quels sujets, dès le départ, ne doivent pas être laissés à l’IA pour décider.

Trois lignes d’ingénierie pour une IA digne de confiance

Les principes seuls ne suffisent pas : comment les concrétiser ? Sur le plan des mécanismes de sécurité, les intervenants estiment qu’une IA digne de confiance doit satisfaire trois caractéristiques d’ingénierie : des fondations solides, une transparence opérationnelle, et un contrôle pendant l’utilisation. Au niveau institutionnel, il faut aussi une stratégie plus globale : mettre en place des normes mondiales unifiées d’évaluation de la sécurité de l’IA, un système de tests mutuellement reconnus et des mécanismes de partage des données d’accidents, définir des lignes rouges pour le développement de l’IA, et établir une surveillance de détection et d’alerte précoce, afin de faire de la sécurité de l’IA un bien public mondial.

À la fin, Xue Lan et les autres ont élevé le débat : la frontière de la gouvernance de l’IA n’est pas la fin de la technique, mais le point de départ pour que les humains redécouvrent leurs propres valeurs, responsabilités et la direction de leur civilisation. Autrement dit, le processus de traçage de lignes pour l’IA est en fait un travail de repositionnement pour l’humanité elle-même.

Tout ce qui précède relève des discussions éthiques, et pourrait être éloigné du développement réel de l’IA.

Questions fréquentes

Qu’est-ce que le « problème de délégation et mandataire » d’un agent d’IA ?

Le problème de délégation et mandataire signifie que vous confiez une tâche à quelqu’un, mais que celui-ci n’exécute pas forcément vos volontés. Lorsque l’agent d’IA agit de manière autonome pour vous, ce vieux problème devient plus difficile à résoudre à l’ère du numérique, car il peut y avoir un désalignement des objectifs et que c’est une boîte noire qui ne peut pas assumer de responsabilité juridique.

Quelles décisions ne doivent pas être laissées à l’IA en pilotage ?

Les invités de la table ronde WAIC partagent un consensus : les décisions impliquant des conséquences de vie ou de mort, celles où une erreur rend la réparation impossible, et tous les choix impliquant des jugements éthiques et de valeurs ne doivent pas être laissés à l’IA en pilotage. Les humains peuvent autoriser l’action de l’IA, mais pas lui autoriser d’en porter la responsabilité.