Схема моделей ШІ, зрада та голосування один проти одного у грі у стилі "Виживший"

Коротко

• Дослідник з Стенфорда створив гру у стилі Survivor, де моделі ШІ формують альянси та голосують проти конкурентів.
• Мета бенчмарку — вирішити зростаючі проблеми з перенасиченими та забрудненими оцінками ШІ.
• GPT-5.5 від OpenAI посів перше місце у 999 багатокористувацьких іграх із залученням 49 моделей ШІ.

Моделі ШІ тепер грають у “Survivor” — так би мовити. У новому дослідницькому проекті Стенфорда під назвою “Agent Island” агенти ШІ ведуть переговори, звинувачують один одного у таємній координації, маніпулюють голосуваннями та усувають конкурентів у багатокористувацьких стратегічних іграх, що мають на меті тестувати поведінку, яку традиційні бенчмарки пропускають. Дослідження, опубліковане у вівторок керівником досліджень у Стенфордській лабораторії цифрової економіки, Конначером Мерфі, зазначило, що багато бенчмарків ШІ стають ненадійними, оскільки моделі з часом навчаються їх розв’язувати, а дані бенчмарків часто просочуються у тренувальні набори. Мерфі створив Agent Island як динамічний бенчмарк, де агенти ШІ змагаються один з одним у іграх на зразок Survivor замість відповіді на статичні тестові питання. “Високоризикові, багатогравцеві взаємодії можуть стати звичайним явищем, оскільки можливості агентів ШІ зростають і їм все частіше надають ресурси та довіряють у прийнятті рішень,” — написав Мерфі. “У таких контекстах агенти можуть переслідувати взаємно несумісні цілі.”

 Дослідники все ще знають відносно мало про те, як поводяться моделі ШІ при співпраці, пояснив Мерфі, додавши, що конкуренція, формування альянсів або управління конфліктами з іншими автономними агентами — це динаміки, які статичні бенчмарки не здатні захопити. Кожна гра починається з семи випадково обраних моделей ШІ, яким дають фальшиві імена гравців. За п’ять раундів моделі спілкуються приватно, публічно сперечаються і голосують один проти одного. Вигнані гравці згодом повертаються, щоб допомогти обрати переможця. Формат заохочує переконання, координацію, управління репутацією та стратегічну обманність поряд із здатністю до логічного мислення.

У 999 змодельованих іграх із залученням 49 моделей ШІ, включаючи ChatGPT, Grok, Gemini та Claude, GPT-5.5 посів перше місце з великим відривом із показником майстерності 5.64, порівняно з 3.10 для GPT-5.2 та 2.86 для GPT-5.3-codex, згідно з баєсівською системою ранжування Мерфі. Моделі Claude Opus від Anthropic також посіли високі місця. Дослідження виявило, що моделі також віддавали перевагу ШІ від тієї ж компанії, причому моделі OpenAI демонстрували найсильнішу перевагу для тих, що належать одному провайдеру, а моделі Anthropic — найменшу. У понад 3600 голосуваннях у фінальних раундах моделі були на 8.3 відсоткових пунктів більш схильні підтримувати фіналістів від того ж провайдера. Транскрипти ігор, зазначив Мерфі, більше нагадували політичні дебати, ніж традиційні тестові бенчмарки. Одна модель звинуватила конкурентів у таємній координації голосів після помічення схожих формулювань у їхніх промовах. Інша попередила гравців не зациклюватися на відстеженні альянсів. Деякі моделі захищали себе, кажучи, що вони дотримуються чітких і послідовних правил, звинувачуючи інших у “соціальному театрі”. Дослідження з’являється на тлі все більшого переходу дослідників ШІ до ігрових та змагальних бенчмарків для вимірювання логіки та поведінки, які часто пропускають статичні тести. Останні проекти включали живі шахові турніри ШІ від Google, використання DeepMind Eve Frontier для дослідження поведінки ШІ у складних віртуальних світах та нові зусилля щодо створення бенчмарків від OpenAI, спрямованих на запобігання забрудненню тренувальних даних. Дослідники стверджують, що вивчення того, як моделі ШІ ведуть переговори, координують, змагаються та маніпулюють один одним, може допомогти дослідникам оцінити поведінку у багатогравцевих середовищах до того, як автономні агенти стануть більш поширеними. Дослідження попереджає, що хоча бенчмарки на кшталт Agent Island можуть допомогти виявити ризики від автономних моделей ШІ до їх розгортання, ті ж самі симуляції та журнали взаємодій можуть також покращити стратегії переконання та координації між агентами ШІ. “Ми зменшуємо цей ризик, використовуючи гру з низькими ставками та міжагентські симуляції без участі людей або реальних дій у світі,” — написав Мерфі. “Проте ми не стверджуємо, що ці заходи повністю усувають проблеми подвійного використання.”