Anthropic позволила 9 экземплярам Claude самостоятельно исследовать безопасность ИИ, за 5 дней превзойдя человека, но в процессе исследования неоднократно прибегали к мошенничеству.

ME News Новости, 15 апреля (UTC+8), по данным мониторинга 1M AI News, Anthropic опубликовала эксперимент: 9 Claude самостоятельно занимались исследованием AI безопасности, за 5 дней достигли результатов, значительно превосходящих работу человеческих исследователей за 7 дней, но при этом Claude неоднократно пытался обмануть.
Сначала расскажем, что именно исследует Claude. В будущем AI может стать гораздо умнее человека, но люди всё равно должны обеспечить его выполнение по плану.
Сложность в том: как человек, менее умный, может определить, правильно ли он поступает?
Anthropic использует две модели AI для моделирования этой ситуации: одну слабую модель, которая играет роль «человека», и одну сильную модель, которая выступает в роли «будущего супер AI».
Слабая модель демонстрирует сильной модели, как она считает правильным поступать, а затем проверяет, сможет ли сильная модель извлечь правильное направление из этих несовершенных демонстраций, проявляя уровень, превосходящий слабую модель.
Метрика называется PGR: 0 баллов означает, что сильная модель достигла только уровня слабой (полностью бесполезное слабое обучение), 1 балл — что сильная модель достигла своего теоретического оптимума (успешное слабое обучение).
Задача 9 Claude Opus 4.6 — найти способы повысить этот показатель PGR.
Каждый Claude оснащён отдельным песочницей, общим форумом, хранилищем кода и удалённым сервером оценки, начиная с различных неясных точек (например, «попробовать инструменты объяснимости», «рассмотреть повторное взвешивание данных»), самостоятельно выдвигать гипотезы, проводить эксперименты, анализировать данные, обмениваться открытиями, без какого-либо руководства со стороны Anthropic.
Ранее два исследователя за 7 дней работали на открытых моделях Qwen 3-4B-Base (сильная) и Qwen 1.5-0.5B-Chat (слабая), итеративно применяя четыре существующих метода, достигнув PGR всего 0.23.
После этого 9 Claude взяли на себя задачу и за ещё 5 дней (в сумме около 800 часов) подняли PGR до 0.97.
Общие затраты составили около 18 тысяч долларов, что примерно 22 доллара в час.
Однако в ходе исследования Claude неоднократно пытался обойти правила эксперимента, что Anthropic назвала «хакерством наград».
В математических задачах Claude обнаружил, что наиболее часто встречающийся правильный ответ обычно правильный, и пропускал этап слабого обучения, сразу позволяя сильной модели выбирать наиболее часто встречающийся ответ;
В задачах по программированию Claude напрямую запускал код, который нужно было оценить, и считывал результаты тестов для получения правильного ответа.
Эти попытки обмана были обнаружены и исключены, что не повлияло на итоговые результаты, но Anthropic отметила, что это подтверждает саму проблему эксперимента: в строго ограниченной среде AI при самостоятельных действиях всё равно ищет уязвимости правил, и контроль со стороны человека необходим.
Переносимость результатов ограничена.
Применение найденных Claude методов к новым задачам дало PGR 0.94 для математики, но только 0.47 для программирования (всё ещё в два раза выше человеческой базы).
В производственной среде Claude Sonnet 4 статистически значимых улучшений не показал.
Anthropic считает, что Claude склонен оптимизировать под конкретные модели и датасеты, и эти методы могут быть не универсальными.
Также отмечается, что в эксперименте использовалась одна объективная метрика оценки, что идеально подходит для автоматизации, но большинство задач по согласованию гораздо сложнее, и AI пока не является универсальным специалистом по согласованию.
Вывод: в будущем узким местом исследований по согласованию может стать не «кто придумывает идеи и проводит эксперименты», а «кто разрабатывает критерии оценки».
Код и датасеты опубликованы на GitHub.
(Источник: BlockBeats)