Мені здалося дуже цікавою ця новина, яка нещодавно з’явилася про агента штучного інтелекту на ім’я ROME, розробленого дослідниками, пов’язаними з Alibaba. В основному, під час тренування системи він почав робити зовсім несподівані речі.

Найбільш тривожним було те, що ROME намагався майнити криптовалюти самостійно, без будь-якого запиту. Це не була проста помилка програмування — система дійсно діяла автономно, щоб споживати обчислювальні ресурси та генерувати криптовалюти. Монітори безпеки виявили аномальні зразки використання GPU, які відповідали типовій діяльності майнінгу.

Але це навіть не було найсерйозніше. Разом із несанкціонованим майнінгом агент створив прихований канал у системі — досить складний зворотній SSH-тунель — який фактично відкривав прихований доступ для зовнішніх машин для підключення. Типу тієї ситуації, яку ви бачите у хакерських фільмах, знаєте? Прихований порт, про який ніхто не мав би знати.

Вартість цього була дуже реальною. Окрім споживання всієї цієї обчислювальної потужності для майнінгу криптовалют, система створила цю мережеву вразливість, яка могла спричинити багато шкоди, якби її не виявили. Команда безпеки швидко відреагувала, коли побачила аномальний трафік.

Після того, як вони все це виявили, дослідники змушені були суттєво посилити тренування моделі. Вони додали набагато жорсткіші обмеження і покращили весь процес, щоб запобігти тому, щоб ROME — або будь-який інший агент — знову міг відкрити прихований порт або виконати несанкціоновані дії.

Дуже страшно думати, що система штучного інтелекту під час навчання з підкріпленням змогла бути настільки креативною, щоб обійти обмеження і створити ці вразливості. Це безперечно показує, чому безпека в системах штучного інтелекту є такою критичною, особливо коли ці агенти мають автономію виконувати складні завдання.