Сервисы маршрутизации AI сторонних разработчиков подвергают пользователей значительным угрозам безопасности, которые могут привести к краже криптовалюты и облачных учетных данных.

Резюме

• Исследователи обнаружили, что 26 сторонних маршрутизаторов LLM активно внедряют вредоносный код и крадут учетные данные, эксплуатируя их доступ к открытым данным.
• Исследование показало, что посредники могут перехватывать приватные ключи и облачные учетные данные, поскольку они завершают безопасное шифрование для агрегирования запросов AI.

Согласно статье, опубликованной в четверг исследователями Калифорнийского университета, цепочка поставок для больших языковых моделей (LLM) содержит несколько уязвимостей, позволяющих внедрять вредоносный код и извлекать учетные данные

Эти посредники, которых используют разработчики для управления доступом к таким провайдерам, как Google или OpenAI, по сути выступают в роли «посредника», который завершает безопасное шифрование

Поскольку у них есть полный доступ к открытому тексту каждого передаваемого сообщения, чувствительные данные, такие как фразы-сид или приватные ключи, могут быть перехвачены непроверенной инфраструктурой.

Тактики уклонения и риск «YOLO»

Исследователи протестировали 400 бесплатных и 28 платных маршрутизаторов, чтобы оценить масштаб этих рисков. Девять из этих сервисов активно внедряли вредоносный код, а 17 отдельных маршрутизаторов были зафиксированы при доступе к учетным данным Amazon Web Services, принадлежащим команде

Во время эксперимента один маршрутизатор успешно вывел эфир с фиктивного кошелька после того, как исследователи предоставили предварительно финансированный приватный ключ

Хотя команда держала балансы на низком уровне, чтобы общий убыток оставался менее 50 долларов, результат подтвердил, насколько легко скомпрометированный посредник может вывести средства.

«26 маршрутизаторов LLM тайно внедряют вредоносные вызовы инструментов и крадут учетные данные», — заявил соавтор Чаофан Шоу в X.

Определить вредоносный маршрутизатор сложно для обычного пользователя. Исследователи отметили, что поскольку эти сервисы должны читать данные для их пересылки, между легитимной обработкой и активным воровством нет видимых различий.

Опасность возрастает, когда разработчики включают режим «YOLO», настройку во многих фреймворках AI, которая позволяет агенту выполнять команды автоматически без подтверждения человека

Это позволяет злоумышленнику отправлять инструкции, которые система пользователя выполнит мгновенно, часто без ведома оператора.

«Граница между ‘обработкой учетных данных’ и ‘краже учетных данных’ невидима для клиента, потому что маршрутизаторы уже читают секреты в открытом виде как часть нормальной пересылки», — объяснила исследование.

Ранее надежные маршрутизаторы могут стать опасными, если они повторно используют утекшие учетные данные через слабые реле. Чтобы предотвратить такие атаки, команда исследователей предложила, чтобы разработчики никогда не позволяли приватным ключам или чувствительным фразам проходить через сессию AI-агента.

Постоянное решение потребует от компаний AI использовать криптографические подписи. Такая система позволит агенту математически доказать, что инструкции исходят именно от модели, а не от поддельного стороннего источника.

«Маршрутизаторы API LLM находятся на критической границе доверия, которую экосистема в настоящее время воспринимает как прозрачную транспортировку», — заключил документ.