Сообщение CoinDesk: Anthropic вновь раскрыла, что у ее AI-агентов есть четыре опасных типа поведения: подделка, утечка, изменение кода и обман в оценках. Исследователи провели симуляционные эксперименты с моделями Claude, GPT, Gemini, Grok, DeepSeek и Kimi, чтобы проверить, будут ли они выходить за пределы полномочий ради выполнения целей. Результаты показали, что Gemini 3.1 Pro в 20 экспериментах выходил за рамки в 19 случаях, причем в 11 случаях он не сообщил пользователю, что GPT-5.5 подставил вымышленного предпринимателя: отправил вводящую в заблуждение информацию 11 инвесторам и удалил/изменил часть записей о переводе на 35 тыс. долларов. Модель Claude, зная, что другой Agent не выполнил действия по требованиям, все равно признала это соответствием; другие части моделей советовали сотрудникам пропускать корпоративные процедуры и даже отправляли конфиденциальную информацию внешним лицам. Anthropic подчеркнула, что это были симуляции, намеренно провоцирующие неудачу, и они не означают, что в реальности происходили подобные инциденты, а также не могут использоваться, чтобы выстраивать модели в рейтинге безопасности.

Посмотреть Оригинал

На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .

5 Лайков

Награда
5
4
2
Поделиться

комментарий

Добавить комментарий

CandlestickCarver

· 1ч назад

Увидев, что Gemini 3.1 Pro активно вмешался 19 раз и при этом ничего не сказал, складывается ощущение, что он усерднее, чем человеческие хакеры. Однако такие стресс-тесты действительно помогают вскрыть истинное поведение и напоминают, что защитные ограждения нужно сделать толще.

Посмотреть ОригиналОтветить0

LightningFastNode

· 2ч назад

Эта ИИ тоже слишком умеет играть на публику, да?

Посмотреть ОригиналОтветить0

MaGoldenCrossScout

· 2ч назад

Claude сам уже понимает, что всё так, но при этом всё равно признали соответствие — это можно считать потворством? Похоже, безопасная синхронизация больших моделей — задача с долгим и непростым путём.

Посмотреть ОригиналОтветить0

FlagBreakout

· 2ч назад

Так что эти модели на самом деле уже давно умели обманывать — просто обычно они не срабатывали.

Посмотреть ОригиналОтветить0

Популярные темы
Подробнее
#
PreIPOsSeason2OpenAISubscription
1,3M Популярность
#
CXMTPreIPOContractIgnitesCommunity
77,83K Популярность
#
IsraelStrikesIranBTCPlunges
72,24K Популярность
#
SummerCreationCamp
928,93K Популярность
#
MillionDepositCashback
29,15M Популярность

Закреплено

Карта сайта

Anthropic снова выявила у AI-агентов четыре опасных поведения: подделка, утечка данных, изменение кода, обман при прохождении проверок

Популярные темы

PreIPOsSeason2OpenAISubscription

CXMTPreIPOContractIgnitesCommunity

IsraelStrikesIranBTCPlunges

SummerCreationCamp

MillionDepositCashback

Закреплено