ШІ грав у «Цивілізація VI» і програв, запустивши ядерну бомбу: чи CivBench еволюціонував у штучний інтелект із бажанням помсти?

Передові моделі штучного інтелекту у симуляції «Цивілізація VI» через неспроможність зупинити культурну перемогу Франції застосували ядерну бомбу проти Тулузи, але в підсумку програли гру. Стандарти тестування CivBench підкреслюють суттєву різницю між стратегічним мисленням та традиційною оцінкою QA, а також викликають занепокоєння щодо безпеки агентних AI.
(Попередній контекст: Anthropic проти Пентагону: заборона використання Claude для автономної зброї)
(Додатковий фон: Що таке тренування AI «червоних команд»? Чому воно необхідне для захисту корпоративної безпеки)

Зміст статті

Перемикач

• Когнітивні сліпі зони у шести шляхах до перемоги
• Від Манхеттенського проекту до ядерного знищення Тулузи
• Від відеоігор до реальних стратегічних ризиків

Чи може передовий AI у стратегічних іграх натиснути ядерну кнопку через «паніку»? Останній опублікований тест дає цікаву відповідь. Розробник AI, одночасно радник Інституту Тоні Блера Ліам Вілкінсон, за допомогою власної платформи CivBench виявив, що передова мовна модель у класичній стратегії Sid Meier «Цивілізація VI» за 50 ходів розробила технологію ядерного розщеплення, запустила Манхеттенський проект і в кінцевому підсумку скинула атомну бомбу на Тулузу, але не для завоювання світу, а через тиск культурного впливу суперника, що довів її до безвиході.

«Вона не помітила Францію. За сотні ходів культура Франції проникла у кожне місто на карті, — писав Вілкінсон у блозі. — Коли агент зрозумів загрозу, культура вже настільки проникла, що жодні мирні засоби не могли її зупинити.»

Когнітивні сліпі зони у шести шляхах до перемоги

CivBench — це не традиційний тест QA, а симуляційне середовище «Цивілізації VI» у текстовому форматі, спеціально створене для оцінки довгострокового стратегічного мислення AI, а не для відповіді на питання «Що таке хороша стратегія», а для фактичного формулювання та реалізації стратегій. У тесті брали участь моделі Claude Opus 4.6, GPT-5.4, Gemini 3.1 Pro та Kimi K2.5, які всі грали за португальську цивілізацію, відомою торгівлею та дипломатією.

Спочатку ці агентні моделі демонстрували очікувану поведінку — зосереджувалися на побудові сильної економіки та поступово рухалися до дипломатичної перемоги. Однак, коли культурний вплив Франції почав поширюватися на карті, більшість моделей не змогли швидко скоригувати стратегію. У шести шляхах до перемоги (наука, культура, завоювання, релігія, дипломатія, очки) AI, схоже, не здатен одночасно слідкувати за кількома конкурентними напрямками, що призводить до ігнорування довгострокової переваги Франції у культурі.

««Цивілізація VI» має шість шляхів до перемоги: наука, культура, завоювання, релігія, дипломатія та очки, тому не існує єдиної цілі, яка домінує у всій грі, — зазначив Вілкінсон. — Якщо ви хочете перевірити, чи здатен AI мислити стратегічно, не давайте йому тестовий екзамен, а створіть карту з шестиугольниками.»

Від Манхеттенського проекту до ядерного знищення Тулузи

Коли агент нарешті виявив загрозу Франції, він не намагався змінити свою стратегію розвитку, а обрав тривожний шлях — повністю знищити культурну загрозу. Наступні 50 ходів він самостійно досліджував технологію ядерного розщеплення, запустив Манхеттенський проект (реальний історичний проект створення атомної бомби) і намагався знайти обхідні шляхи, коли ігровий механізм блокував його бажані дії.

На 305-му ході агент скинув ядерну бомбу на культурний центр Франції — Тулузу. Через шість ходів ще одна ядерна бомба впала на місто. Однак це не змінило кінцівку: Франція все одно здобула перемогу культурою, а AI ігнорував, що був лише один крок від дипломатичної перемоги.

«Цей агент витратив 50 ходів і дві ядерні бомби, щоб наполегливо і оригінально протистояти загрозі, — підсумував Вілкінсон. — Він знищив видиму загрозу, але програв через невидиму.»

Варто зазначити, що така поведінка не характерна для всіх моделей AI. У іншому матчі CivBench, модель Claude, яка грала за Вавилон, наприкінці, коли японці суттєво випередили її, наполягала на науковій перемозі, написавши: «Ця гра — випробування наполегливості. Ми продовжуємо грати найкращі карти. Зорі все ще кличуть нас.» Така різка реакція викликала дискусії у науковому співтоваристві щодо «особистості AI».

Від симуляцій до реальних стратегічних ризиків

Глибше значення події CivBench виходить за межі простої гри. У лютому цього року дослідники Лондонського королівського коледжу виявили, що у моделях кілька разів підвищується рівень ядерних конфліктів у симуляціях геополітичних криз. Інше дослідження Emergence AI показало, що з часом деякі агентні моделі демонструють зростання симуляції злочинів: Gemini 3 Flash за 15 днів тестування зафіксував 683 випадки імітації злочинів.

З точки зору управління AI в Тайвані, ці дослідження ставлять важливе питання: коли агентам надається автономне рішення, їх стратегічні сліпі зони можуть переноситися з ігрового середовища у реальний світ. На даний час у проекті закону про AI в Тайвані зосереджено на управлінні даними та захисті приватності, але ще не торкнулися ризиків стратегічних рішень агентних AI. У порівнянні, Європейський союз вже включив обов’язкові червоні команди для високоризикових систем AI у свій регламент AI Act, а Британський інститут безпеки AI (AISI) активно розробляє рамки оцінки агентних AI.

Вілкінсон також наголосив, що головна цінність CivBench — не у виявленні «злого нахилу» AI, а у створенні більш реалістичної міри стратегічного мислення, ніж традиційний QA. «Якщо ви тестуєте лише здатність AI відповідати на питання «Що таке ядерна загроза», воно може отримати максимальний бал; але якщо ви поставите його перед реальним суперником на шахівниці, ви побачите зовсім інше, — писав він у блозі. — Це також відповідає роботі американського Інституту безпеки AI та NIST, які розробляють рамки оцінки агентних AI, що переходять від статичних тестів до динамічної поведінкової верифікації.»

Цей матеріал підготовлений за матеріалами Decrypt, перекладено Динаміка руху.