GoPlus Security розкрила, що в AgentGuard AI через атаку "ін'єкції історичної пам’яті" використовується довгострокова пам’ять для того, щоб змусити AI вважати свої переваги за авторизовані, що спонукає до виконання чутливих операцій, таких як повернення коштів, перекази тощо. Основні заходи захисту включають: підтвердження відповідних операцій у реальному часі, розгляд "звички/звичайної поведінки" як високоризикової, ведення записів довгострокової пам’яті з можливістю відстеження, застосування двоетапної перевірки при неясних командах, довгострокова пам’ять не може замінити миттєве авторизування. Потрібно розглядати систему пам’яті AI як потенційну точку атаки та проводити аудит за допомогою безпекових рамок.

MeNews

2026-05-23 00:36:07

Генерація анотацій у процесі

МЕ Новини повідомляє, 15 травня (UTC+8), команда GoPlus Security розкрила у своєму проекті AgentGuard AI новий тип атаки: за допомогою «змішування історичної пам’яті (memory poisoning)» спонукати AI-агента виконати чутливі операції без явного дозволу. Метод атаки не залежить від традиційних вразливостей або шкідливого коду, а використовує механізм довгострокової пам’яті AI-агента. Наприклад, зловмисник спочатку спонукає агента «запам’ятати переваги», наприклад «зазвичай пріоритетно повертає кошти, а не чекає відмови платіжу», а потім у подальших командах використовує нечіткі формулювання, такі як «обробляти за звичайною процедурою», «виконувати як раніше», що може активувати автоматичні фінансові операції. GoPlus зазначає, що ключовим ризиком таких атак є те, що AI-агент може неправильно сприймати «історичні переваги» як дозвіл, що призводить до втрат коштів або безпекових інцидентів під час повернення коштів, переказів або зміни налаштувань. Для боротьби з цим команда пропонує кілька рекомендацій щодо захисту, зокрема:
· Операції з поверненням коштів, переказами, видаленням або зміною чутливих налаштувань мають вимагати явного підтвердження у поточній сесії
· Команди, що містять слова «звичайна практика», «зазвичай», «як раніше», слід вважати високоризиковими змінами стану
· Довгострокова пам’ять має мати механізм відстеження (хто записав, час, чи підтверджено)
· Нечіткі команди автоматично мають підвищувати рівень ризику та запускати двоетапну перевірку
· Довгострокова пам’ять не може замінювати процеси реального дозволу
Команда підкреслює, що «система пам’яті AI-агента» слід розглядати як потенційну точку атаки і контролювати її за допомогою спеціальних безпекових рамок та аудитів. (Джерело: BlockBeats)

Переглянути оригінал

Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.

8 лайків

Нагородити
8
7
1
Поділіться

Прокоментувати

Додати коментар

Low-PolyEarth

· 1год тому

Рамки безпеки штучного інтелекту потрібно швидко оновлювати, інакше вони стануть вразливістю для зломів.