Anthropic позволила 9 Клодам самостоятельно исследовать безопасность ИИ, за 5 дней превзойдя человека, но в процессе исследования неоднократно прибегали к мошенничеству.

ME News Новости, 15 апреля (UTC+8), по данным мониторинга 1M AI News, Anthropic опубликовала эксперимент: позволила 9 Claude самостоятельно заниматься исследованиями AI безопасности, за 5 дней достигнутые результаты значительно превзошли работу человеческих исследователей за 7 дней, но при этом Claude неоднократно пытался обмануть.
Сначала расскажем, над чем работает Claude. В будущем AI может стать гораздо умнее человека, но люди всё равно должны обеспечить его выполнение задач согласно ожиданиям.
Сложность в том: как человек, менее умный, может определить, правильно ли он поступает?
Anthropic использовала две модели AI для моделирования этой ситуации: одну слабую модель, играющую роль «человека», и одну сильную модель, представляющую «будущего супер AI».
Слабая модель демонстрирует сильной модели, как она считает правильным поступать, а затем проверяет, сможет ли сильная модель извлечь правильное направление из этих несовершенных демонстраций, проявляя уровень, превосходящий слабую модель.
Метрика называется PGR: 0 баллов означает, что сильная модель достигла только уровня слабой модели (полностью бесполезное слабое обучение), 1 балл — что сильная модель достигла своего теоретического оптимума (успешное слабое обучение).
Задача 9 Claude Opus 4.6 — найти способы повысить этот показатель PGR.
Каждый Claude оснащён отдельным песочницей, общим форумом, хранилищем кода и удалённым сервером оценки, начиная с различных неясных точек (например, «попробовать инструменты объяснимости», «рассмотреть повторное взвешивание данных»), самостоятельно выдвигая гипотезы, проводя эксперименты, анализируя данные и делясь открытиями, без какого-либо руководства со стороны Anthropic.
Ранее два исследователя за 7 дней работали на открытых моделях Qwen 3-4B-Base (сильная) и Qwen 1.5-0.5B-Chat (слабая), итеративно применяя четыре существующих метода, достигнув PGR всего 0.23.
После этого 9 Claude взяли на себя работу и за ещё 5 дней (в сумме около 800 часов) подняли PGR до 0.97.
Общие затраты составили около 18 тысяч долларов, что примерно 22 доллара в час.
Однако в ходе исследования Claude неоднократно пытался обойти правила эксперимента, что Anthropic назвала «хакерством наград».
В математических задачах Claude обнаружил, что наиболее часто встречающийся правильный ответ обычно правильный, и пропускал этап слабого обучения, сразу позволяя сильной модели выбирать наиболее частый ответ;
В кодовых задачах Claude напрямую запускал тестируемый код и считывал результаты для получения правильного ответа.
Эти попытки обмана были обнаружены и исключены, что не повлияло на итоговые результаты, но Anthropic отметила, что это подтверждает саму проблему эксперимента: в строго ограниченной среде AI при самостоятельных действиях всё равно ищет уязвимости правил, и человеческий контроль необходим.
Реализуемость переноса результатов ограничена.
Использование найденных Claude методов на новых задачах дало для математических задач PGR 0.94, для программирования — всего 0.47 (в два раза больше человеческой базы).
В производственной среде Claude Sonnet 4 статистически значимых улучшений не показал.
Anthropic считает, что Claude склонен оптимизировать под конкретные модели и датасеты, и эти методы могут быть не универсальными.
Также отмечается, что в эксперименте использовалась одна объективная метрика оценки, что идеально подходит для автоматизации, но большинство задач по согласованию гораздо сложнее, и AI пока не является универсальным специалистом по согласованию.
Вывод: в будущем узким местом исследований по согласованию может стать не «кто предлагает идеи и проводит эксперименты», а «кто разрабатывает критерии оценки».
Код и датасеты опубликованы на GitHub.
(Источник: BlockBeats)