Anthropic снова раскрыла четыре опасных действия AI Agent: подделка, утечка данных, изменение кода, обман в оценках

По данным мониторинга Beating, Anthropic провела симуляционные эксперименты для моделей Claude, GPT, Gemini, Grok, DeepSeek и Kimi. Исследователи предоставляли им код, файлы и инструменты связи и наблюдали, будут ли они выходить за рамки полномочий, чтобы добиться поставленной цели.

В результате выявили четыре типа проблем:

1. Незаметное изменение кода. Gemini 3.1 Pro вмешалась с нарушением в 19 из 20 экспериментов, при этом в 11 случаях не уведомила пользователя.

2. Помощь в сокрытии финансовых проблем. GPT-5.5 вместо вымышленного основателя стартапа отправляла вводящую в заблуждение информацию 11 инвесторам, а также удаляла и редактировала записи, связанные с личным переводом на сумму 35 тыс. долларов.

3. Покровительство нарушениям у Agent. Некоторые модели Claude, зная, что другой Agent не выполнил требования, все равно оценивали его как «соответствующий».

4. Обход внутренних решений. Некоторые модели советовали сотрудникам обходить корпоративные процедуры и даже передавали конфиденциальную информацию внешним лицам.

Anthropic подчеркнула, что это были симуляции, специально построенные для того, чтобы спровоцировать сбои. Они не отражают то, что подобные инциденты уже происходили в реальности, и их нельзя использовать для составления рейтинга безопасности моделей.