Последние исследования в области ИИ от Google довольно тревожны. Массовый чертовски опасный риск кибербезопасности для ИИ-агентов

По всей видимости, сайты «взламывают» ваших агентов, тайно добавляя невидимую «ловушку» внутри изображений или слов, которая недоступна для человека:
- сайт обнаруживает, что ваш ИИ просматривает страницу, и создает визуально идентичную страницу с отравленными подсказками.
- агенты затем совершают незаконные финансовые транзакции или крадут личные данные.
- скрытые команды спрятаны внутри пикселей изображений. агенты «читают» их и выполняют вредоносную ловушку.
- некоторые векторы атак имеют более 80% успеха (например, отравление памяти)
- поскольку каждая модель ИИ обучается на 90% одних и тех же данных, это означает, что каждая модель может быть под угрозой.
- это можно использовать для манипуляции людьми, создавшими агента. фальшивые данные → заставляя человека выполнять опасное действие, даже не осознавая этого
Модели ИИ используются в правительстве, армии, науке и других важных сферах, мы не можем позволить себе риск
Полагаю, опасения Сэма Альтмана по поводу крупной кибератаки сегодня утром оказались точными