Привычки и предпочтения, записанные в долгосрочную память, являются опасным сигналом, AgentGuard должен повысить порог срабатывания исторической памяти, чтобы не допустить, чтобы расплывчатые инструкции использовали лазейки.

Посмотреть Оригинал
MeNews
GoPlus: «Атака с использованием «разрешения исторической памяти»» может побудить AI-агента выполнить операции с финансами
ME News сообщает, что GoPlus AgentGuard выявил скрытую атаку: злоумышленники побуждают ИИ запомнить предпочтения (например, склонность к возвратам средств), а затем используют расплывчатые команды вроде «обработать как обычно» для инициирования операций с финансами. Для высокорискованных действий, связанных с авторизацией исторической памяти, необходимо явно подтверждать возвраты, переводы и т.д. в текущей сессии; запись памяти, связанной с привычками, предпочтениями и старым порядком, считается высокорисковой модификацией, долгосрочная память должна быть прослеживаемой, а такие команды должны повышать уровень риска, не позволяя долгосрочной памяти заменять текущие авторизации.
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • комментарий
  • Репост
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
Нет комментариев
  • Закреплено