Сервіси маршрутизації штучного інтелекту сторонніх розробників відкривають користувачам значні вразливості безпеки, що може призвести до крадіжки криптовалюти та облікових даних у хмарі.

Підсумок

• Вчені виявили, що 26 сторонніх маршрутизаторів LLM активно впроваджують шкідливий код і крадуть облікові дані, експлуатуючи їхній доступ до відкритих даних.
• Дослідження показало, що посередники можуть перехоплювати приватні ключі та облікові дані хмарних сервісів, оскільки вони завершують захищене шифрування для агрегування запитів ШІ.

Згідно з документом, опублікованим у четвер дослідниками Каліфорнійського університету, ланцюг постачання для великих мовних моделей (LLM) містить кілька вразливостей, які дозволяють впроваджувати шкідливий код і витягувати облікові дані

Ці посередники, яких використовують розробники для управління доступом до таких провайдерів, як Google або OpenAI, фактично виступають у ролі «посередника», що завершує захищене шифрування

Оскільки вони мають повний доступ до відкритого тексту кожного повідомлення, надісланого через них, чутливі дані, такі як фрази-насіння або приватні ключі, можуть бути перехоплені неперевіреною інфраструктурою.

Тактики ухилення та ризик «YOLO»

Дослідники протестували 400 безкоштовних і 28 платних маршрутизаторів, щоб оцінити масштаб цих ризиків. Дев’ять із цих сервісів активно впроваджували шкідливий код, тоді як 17 окремих маршрутизаторів були зафіксовані при доступі до облікових даних Amazon Web Services, що належать команді

Під час експерименту один маршрутизатор успішно вивів Ether з фальшивого гаманця після того, як дослідники надали попередньо фінансований приватний ключ

Хоча команда тримала баланси низькими, щоб загальні втрати залишилися меншими за 50 доларів, цей результат підтвердив, наскільки легко скомпрометований посередник може вивести кошти.

«26 маршрутизаторів LLM таємно впроваджують шкідливі виклики інструментів і крадуть облікові дані», — заявив співавтор Чаофан Шоу у X.

Виявлення шкідливого маршрутизатора є складним завданням для звичайного користувача. Дослідники зазначили, що оскільки ці сервіси повинні читати дані для їхнього пересилання, між легітимною обробкою та активним крадіжкою немає видимої різниці

Ризик зростає, коли розробники активують «режим YOLO», налаштування у багатьох фреймворках ШІ, що дозволяє агенту виконувати команди автоматично без підтвердження людиною

Це дозволяє зловмиснику надсилати інструкції, які система користувача виконає миттєво, часто без відома оператора.

«Межа між ‘обробкою облікових даних’ і ‘крадіжкою облікових даних’ є невидимою для клієнта, оскільки маршрутизатори вже читають секрети у відкритому тексті як частину нормального пересилання», — пояснили в дослідженні.

Раніше надійні маршрутизатори можуть стати небезпечними, якщо вони повторно використовують витеклі облікові дані через слабкі релеї. Щоб запобігти цим атакам, команда дослідників запропонувала, щоб розробники ніколи не дозволяли приватні ключі або чутливі фрази проходити через сесію агента ШІ.

Постійне рішення вимагатиме від компаній ШІ використовувати криптографічні підписи. Така система дозволить агенту математично довести, що інструкції надійшли саме від моделі, а не від підробленого стороннього джерела.

«API маршрутизатори LLM перебувають на критичній межі довіри, яку екосистема наразі сприймає як прозорий транспорт», — підсумував документ.