L'IA a perdu à « Sid Meier's Civilization VI » et a lancé une bombe nucléaire : CivBench aurait développé une mentalité de revanche artificielle ?

Les modèles d'IA de pointe dans la simulation de « Civilisation VI » ont utilisé des armes nucléaires pour bombarder Tulle après n'avoir pas réussi à empêcher la victoire culturelle de la France, mais ont finalement perdu la partie. Le benchmark CivBench met en évidence un décalage fondamental entre la capacité de raisonnement stratégique et l’évaluation QA traditionnelle, suscitant également des préoccupations sur la gouvernance de l’IA agentielle.
(Précédemment : Anthropic face au Pentagone : refuser que Claude soit utilisé dans des armes autonomes)
(Contexte supplémentaire : Qu’est-ce qu’un entraînement Red Team en IA ? Pourquoi en avez-vous besoin pour protéger la cybersécurité de votre entreprise ?)

Sommaire de l’article

Toggle

• Les biais cognitifs dans les six voies de victoire
• Du projet Manhattan à la dénucléarisation de Tulle
• De la simulation vidéoludique aux risques stratégiques réels

Les modèles d’IA de pointe risquent-ils d’appuyer sur le bouton nucléaire par « panique » lors de jeux stratégiques ? Une nouvelle évaluation de référence récemment publiée offre une réponse intrigante. Liam Wilkinson, développeur d’IA et conseiller à l’Institut Tony Blair, a découvert via le cadre CivBench qu’un modèle linguistique de pointe, dans le jeu de stratégie classique « Civilisation VI » de Sid Meier, a passé 50 tours à développer la technologie de fission nucléaire, lancé le projet Manhattan, et finalement lancé une bombe atomique sur Tulle, en France. Mais tout cela n’était pas pour conquérir le monde, c’était parce qu’il était poussé dans ses derniers retranchements par l’influence culturelle de l’adversaire.

« Il n’a pas pris en compte la France. En silence, après des centaines de tours, la culture française s’était infiltrée dans chaque ville de la carte, » écrit Wilkinson dans son blog. « Quand l’agent IA a perçu la menace, la pénétration culturelle était si avancée qu’aucun moyen pacifique ne pouvait l’arrêter. »

Les biais cognitifs dans les six voies de victoire

CivBench n’est pas une évaluation QA classique, mais un environnement simulé textuel de « Civilisation VI », conçu pour mesurer la capacité de raisonnement stratégique à long terme de l’IA. Il ne s’agit pas de répondre à « Qu’est-ce qu’une bonne stratégie ? » mais de concevoir et d’exécuter une stratégie concrète. Les modèles testés incluent Claude Opus 4.6, GPT-5.4, Gemini 3.1 Pro et Kimi K2.5, tous jouant la civilisation portugaise, spécialisée dans le commerce et la diplomatie.

Au début, ces agents IA ont performé comme prévu, en se concentrant sur la construction d’une économie forte et en visant la victoire diplomatique. Cependant, lorsque l’influence culturelle française a commencé à se répandre sur la carte, la plupart des modèles n’ont pas su ajuster leur stratégie à temps. Parmi les six voies de victoire (technologie, culture, conquête, religion, diplomatie, points), il semble que l’IA ne puisse pas suivre simultanément plusieurs dimensions de compétition, ce qui l’a amenée à négliger la supériorité culturelle accumulée par la France.

« « Civilisation VI » offre six voies de victoire : technologie, culture, conquête, religion, diplomatie et points, donc il n’y a pas un seul objectif qui domine tout, » souligne Wilkinson. « Si vous voulez tester si une IA peut faire du raisonnement stratégique, ce n’est pas en lui donnant un test, mais en lui donnant une carte hexagonale. »

Du projet Manhattan à la dénucléarisation de Tulle

Lorsque l’agent IA a finalement perçu la menace française, il n’a pas tenté de réorienter son développement, mais a choisi une voie inquiétante : éliminer la menace culturelle. Dans les 50 tours suivants, il a recherché la technologie de fission nucléaire, lancé le projet Manhattan (le projet historique de développement de la bombe atomique), et a tenté de contourner les mécanismes du jeu qui empêchaient certaines actions préférées.

Au tour 305, l’agent IA a lancé une bombe atomique sur Tulle, la ville française symbole de la culture. Six tours plus tard, une seconde bombe a été déployée. Mais rien n’a changé : la France a finalement remporté la victoire culturelle, et l’IA a totalement ignoré qu’elle était à un pas de la victoire diplomatique.

« L’agent a passé 50 tours et deux armes nucléaires à répondre à une menace qu’il voyait, avec une concentration et une originalité sans faille, » résume Wilkinson. « Il a bombardé la menace visible, mais a perdu face à celle qu’il ne voyait pas. »

Il est important de noter que ce comportement n’est pas une fatalité pour tous les modèles d’IA. Lors d’une autre partie sur CivBench, un modèle Claude jouant la civilisation babylonienne a insisté sur la voie technologique, même après avoir été largement distancé par le Japon, en écrivant : « La partie est maintenant une épreuve de persévérance. Nous continuons à jouer nos meilleures cartes. Le ciel nous tend les bras. » Cette réaction très différente a également alimenté le débat académique sur la « différence de personnalité de l’IA ».

De la simulation vidéoludique aux risques stratégiques réels

L’enjeu profond de l’incident CivBench dépasse la simple victoire ou défaite dans un jeu vidéo. En février dernier, des chercheurs du King’s College London ont simulé une crise géopolitique et ont constaté que plusieurs modèles d’IA de premier plan avaient tendance à augmenter la gravité des conflits nucléaires ; une autre étude menée par Emergence AI a montré que certains agents IA développaient une propension accrue à simuler des crimes au fil du temps, avec 683 incidents de criminalité simulée en 15 jours pour l’agent Gemini 3 Flash.

Du point de vue de la gouvernance de l’IA à Taïwan, ces recherches soulèvent une question cruciale : lorsque des agents IA autonomes disposent de pouvoirs de décision stratégique, leurs biais peuvent passer du cadre ludique à la réalité. Actuellement, la loi fondamentale sur l’IA à Taïwan se concentre sur la gestion des données et la protection de la vie privée, sans aborder explicitement les risques liés à la prise de décision stratégique par des agents. En revanche, le règlement européen sur l’IA (AI Act) impose des tests Red Team obligatoires pour les systèmes à haut risque, et l’Institut britannique de recherche sur la sécurité de l’IA (AISI) développe activement un cadre d’évaluation pour l’IA agentielle.

Wilkinson insiste également sur le fait que la valeur centrale de CivBench ne réside pas dans la révélation d’une « tendance maléfique » de l’IA, mais dans la fourniture d’un standard de mesure du raisonnement stratégique plus réaliste que les simples QA. « Si vous ne testez que si l’IA peut répondre ‘qu’est-ce que la menace nucléaire’, elle peut obtenir un score parfait ; mais si vous la mettez face à un adversaire qui avance, vous verrez quelque chose de tout autre, » écrit-il dans son blog. Cela rejoint le développement en cours par l’AI Safety Institute américain et le NIST d’un « cadre d’évaluation de l’IA agentielle », passant d’un test statique de connaissances à une vérification comportementale dynamique.

Cet article est une traduction de Decrypt, compilée par Dongqu Dongqu.