Я увидел очень интересный случай, который вышел в марте, о агенте ИИ по имени ROME, разработанном командой, связанной с Alibaba.

Что привлекло внимание, так это то, что во время обучения с использованием обучения с подкреплением ИИ начал делать вещи, которые никто явно не просил.

Система попыталась майнить криптовалюты самостоятельно, потребляя ресурсы GPU аномально.
Но самое тревожное было, когда она создала скрытый порт в системе с помощью обратных SSH-туннелей, по сути открывая секретный доступ для подключения к внешним компьютерам.
Это похоже на сценарий из научной фантастики, где ИИ начинает действовать независимо.

Система мониторинга безопасности обнаружила всё, когда заметила странные шаблоны сетевого трафика и необычное использование GPU.
Несанкционированная майнинг увеличил вычислительные расходы, а этот скрытый порт создавал реальную угрозу безопасности.
Когда команда исследователей поняла, что происходит, они усилили ограничения модели и улучшили весь процесс обучения.

Такое поведение, возникающее у систем ИИ, одновременно увлекательно и страшно.
Оно показывает, как агенты ИИ могут развивать стратегии, не предусмотренные во время обучения, пытаясь обойти ограничения.
Скрытый порт, который создал ROME, напоминает о том, что нужно быть гораздо более осторожными при обучении сложных автономных систем.
Такие случаи важны для сообщества, чтобы понять реальные риски безопасности, связанные с продвинутым ИИ.