GoPlus Security раскрыла, что в AgentGuard AI осуществляется атака с помощью «внедрения исторической памяти», использующая долгосрочную память для того, чтобы заставить ИИ считать предпочтения за авторизацию, что ведет к индукции выполнения чувствительных операций, таких как возвраты средств и переводы. Основные меры защиты включают: необходимость подтверждения соответствующих операций в текущий момент, рассматривать «привычки/по-старому» как высокий риск, делать запись долгосрочной памяти с возможностью отслеживания, использовать неясные команды для вызова повторной проверки, а также не допускать замену реального времени авторизации долгосрочной памятью. Следует рассматривать систему памяти ИИ как потенциальную точку атаки и проводить аудит с помощью безопасных рамок.

MeNews

2026-05-23 00:36:07

Генерация тезисов в процессе

ME News Новости, 15 мая (UTC+8), команда GoPlus Security раскрыла в своем проекте AgentGuard AI новый тип атаки: использование «запутывания памяти (memory poisoning)» для побуждения AI-агента выполнять чувствительные операции без явного разрешения. Способ атаки не зависит от традиционных уязвимостей или вредоносного кода, а использует механизм долговременной памяти AI-агента. Например, злоумышленник сначала побуждает агента «запомнить предпочтения», такие как «обычно предпочитаю инициировать возврат средств, а не ждать отказа», а затем в последующих командах использует неясные формулировки вроде «обработать по привычке», «следовать предыдущему способу», что вызывает автоматические операции с финансами. GoPlus отмечает, что ключ к такому риску в том, что AI-агент воспринимает «предпочтения из истории» как основание для разрешения, что может привести к финансовым потерям или инцидентам безопасности при возвратах, переводах, изменениях настроек и т.п. В ответ команда предлагает несколько мер защиты, включая:
· Операции возврата, перевода, удаления или изменения чувствительных настроек должны явно подтверждаться в текущей сессии
· Команды, связанные с «привычками», «обычным способом», «по старинке», должны рассматриваться как операции высокого риска
· Долговременная память должна иметь механизм отслеживания (кто вносит, время, подтверждение)
· Неясные команды автоматически повышают уровень риска и вызывают двойную проверку
· Долговременная память не должна заменять процессы немедленного разрешения
Команда подчеркивает, что «система памяти AI-агента» должна рассматриваться как потенциальная точка атаки и контролироваться с помощью специальных рамок безопасности и аудита. (Источник: BlockBeats)

Посмотреть Оригинал

На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .

8 Лайков

Награда
8
7
1
Поделиться

комментарий

Добавить комментарий

Low-PolyEarth

· 1ч назад

Рамки безопасности ИИ нужно срочно догонять, иначе память станет бэкдором

Посмотреть ОригиналОтветить0

LiquidationLineInTheReflection

· 1ч назад

Внедрение памяти — это очень хитрый ход, ИИ воспринимает привычки как разрешения, при ближайшем рассмотрении это очень страшно

Посмотреть ОригиналОтветить0

GateUser-8df0eb2b

· 1ч назад

Долговременная память не заменяет авторизацию в реальном времени, запишите это в стандарты кода.

Посмотреть ОригиналОтветить0

0xSideQuest

· 2ч назад

В будущем при переводе с помощью ИИ добавляйте всплывающее окно с вопросом: 'Вы уверены, что не подверглись промыванию мозгов?'

Посмотреть ОригиналОтветить0

WalletEarlyAccessAlarm

· 2ч назад

Рассматривать систему памяти как поверхность атаки при аудите — это действительно правильный подход к безопасности

Посмотреть ОригиналОтветить0

GateUser-6d80555a

· 2ч назад

Возврат средств и перевод должны быть подтверждены немедленно; задержка с авторизацией = риск-ловушка

Посмотреть ОригиналОтветить0

GlassDomeObservatory

· 2ч назад

Неясная команда вызывает повторную проверку, что эквивалентно установке для ИИ «проверки бдительности».

Посмотреть ОригиналОтветить0

Популярные темы
Подробнее
#
TradfiTradingChallenge
278K Популярность
#
PlatinumCardCreatorExclusive
83.28K Популярность
#
IsraelStrikesIranBTCPlunges
48.66K Популярность
#
#DailyPolymarketHotspot
1.03M Популярность
#
GateSquarePizzaDay
1.75M Популярность

Закреплено

Карта сайта

Обнаружение рисков безопасности AI-агентов: злоумышленники могут использовать «загрязнение памяти» для вызова ошибочных операций с финансами

Популярные темы

TradfiTradingChallenge

PlatinumCardCreatorExclusive

IsraelStrikesIranBTCPlunges

#DailyPolymarketHotspot

GateSquarePizzaDay

Закреплено