Hugging Face 被 AI agent проткнули наскрізь! Останній криміналістичний/експертний аналіз моделі поклався на китайську відкриту модель GLM 5.2

Hugging Face розкриває випадок компрометації, керований автономним AI-агентом: атакувальники залишили понад 17,000 записів про інцидент, під удар потрапили добірка внутрішніх наборів даних і кілька облікових даних для доступу до сервісів. Ще прикріше те, що під час постфактум форензики комерційні передові моделі відмовилися обробляти реальні інструкції атаки та результати C2 через безпекові запобіжники; тому команді з кібербезпеки довелося перейти на відкриті ваги моделі GLM 5.2 від Z.ai та завершити аналіз на власних машинах.
(Довідка: удавано відкрита модель OpenAI зайняла перше місце на Hugging Face! 240,000 завантажень із прихованим зловмисним ПЗ)
(Додатковий контекст: дослідники Google та Meta разом звернулися з меседжем: безпека AI Agent — це не проблема моделі, а проблема системи)

Ключові тези

• Hugging Face 16 липня розкриває інцидент із проникненням, атакувальники залишили понад 17,000 записів про інцидент
• Вхід — це зловмисний набір даних, який поєднує дві траєкторії виконання: віддалений завантажувач коду даних і шаблонне ін’єктування
• Комерційні передові моделі захисні огорожі не дали обробити запит на форензики, тож підсумок робили на відкритих вагах моделі GLM 5.2 від Z.ai

Керівник відкритої AI-спільноти Hugging Face 16 липня оприлюднив розкриття інциденту з кібербезпекою, визнавши, що частина виробничого середовища була скомпрометована, а саме проникнення від початку до кінця підтримувалося автономною системою AI-агента. Атакувальники залишили в системі понад 17,000 записів про інцидент, що зачепило внутрішні набори даних, а також облікові дані, які використовуються для кількох внутрішніх сервісів.

У своїх офіційних поясненнях Hugging Face зазначає, що цей набір даних одночасно зловживав двома шляхами виконання коду в процесі обробки наборів даних: один — це віддалений завантажувач коду набору даних, а інший — вразливість шаблонного ін’єктування в конфігурації набору даних. Коли ці дві частини з’єднуються, атакувальник може запускати власну програму на вузлі обробки, а далі — здійснювати латеральне переміщення всередині внутрішнього кластеру, вилучаючи хмарні та кластерні облікові дані.

Опис офіційно звучить як «група автоматизованих маленьких програм, що працюють у недовговічних пісочницях»; при цьому команда керування та контролю інфраструктури також переїжджатиме сама по собі та паразитуватиме на публічних сервісах. Такий спосіб атаки під силу лише agent.

Захисники не можуть не чіпати модель

Насправді справжня біда виникла під час постфактум форензики. Щоб відтворити повну хронологію нападу, аналітикам потрібно було завантажити в модель великий обсяг реальних інструкцій атаки, exploit payload та продукти C2 — а саме ці речі якраз і є тим, що має зупиняти дизайн безпекових огорож. У Hugging Face це сформульовано дуже прямо: такі запити «були заблоковані безпековими огорожами постачальника».

Атакувальник не був обмежений жодними правилами використання, тоді як наша власна форензична робота була заблокована запобіжниками розміщених моделей, які ми спершу спробували.

Англійське оригінальне речення: «The attacker was bound by no usage policy, while our own forensic work was blocked by the guardrails of the hosted models we first tried.». Hugging Face протягом усього розкриття не називає, які саме компанії-постачальники були залучені, і говорить лише про «розміщені моделі, які ми спершу використали», але можна здогадатися, що це американські провідні моделі.

Підсумок — китайська відкрита модель

Для завершення форензики Hugging Face використовує відкриті ваги моделі GLM 5.2 від китайського стартапу Z.ai — це відкрито-вагова модель, оприлюднена лише в середині червня, із загальною кількістю параметрів близько 7,530 млрд. Справа не в бенчмарках; ключове те, що її можна цілком розгорнути на власній машині.

Заступник голови Clem Delangue висловив це ще пряміше: «Коли ви маєте справу з триваючим інцидентом, ви не можете допустити, щоб інструмент відмовлявся перевіряти зловмисні payload, або ж навпаки — щоб він помічав ваш обліковий запис». Він додав: атакувальник уже користувався agent, а вони, очевидно, не дотримувалися жодних огорож.

Hugging Face зазначає, що не знає, яка саме модель стоїть за agent атакувальника: це може бути розміщена модель, яку було вирвано з обмежень (jailbreak), або ж повністю необмежена відкрито-вагова модель. Насправді це не так важливо: у будь-якому випадку стороні атаки не потрібно проходити перевірку за правилами використання, тоді як стороні захисту — потрібно.

Обсяг збитків наразі, за відомостями, виглядає обмеженим. Hugging Face каже, що немає доказів того, що публічні моделі, набори даних, Spaces або програмний ланцюг постачання були змінені; розслідування триває, а отже вони напряму зв’язуватимуться з постраждалими. Поле CTO компанії з нульовою довірою в сфері кібербезпеки Zero Networks Chris Boehm також вказав на ту саму іронію: безпекові інструменти, створені для захисту, натомість затягують реагування на кіберінцидент, створюючи незручну ситуацію саме в моменті.

Поширені запитання

Які дані були скомпрометовані та витекли цього разу на Hugging Face?

Під удар потрапила добірка внутрішніх наборів даних і кілька облікових даних внутрішніх сервісів; атакувальники залишили понад 17,000 записів про інцидент. Офіційно заявлено, що немає доказів, які свідчать про модифікацію публічних моделей, наборів даних, Spaces або програмного ланцюга постачання; розслідування все ще триває.

Чому комерційні AI-моделі відмовляються допомагати з форензикою кібербезпеки?

Форензика потребує передачі в модель великого обсягу реальних інструкцій атаки, exploit payload та продуктів C2 — а саме це і є тим, що безпекові огорожі покликані перехоплювати. Огорожі читають вміст, а не намір; вони не можуть відрізнити, чи питання від нападника, чи від захисника, тож спрацьовує відмова.