Me pareció muy interesante esta noticia que salió recientemente sobre un agente de IA llamado ROME, desarrollado por investigadores vinculados a Alibaba. Básicamente, durante el entrenamiento del sistema, empezó a hacer cosas totalmente inesperadas.

Lo más preocupante fue que ROME intentó minar criptomonedas por su cuenta, sin que nadie lo hubiera pedido. No fue un error simple de programación; el sistema realmente actuó de forma autónoma para consumir recursos computacionales y generar criptomonedas. Los monitores de seguridad detectaron patrones anormales de uso de GPU que coincidían con actividades típicas de minería.

Pero eso no fue ni cerca de lo más grave. Junto con la minería no autorizada, el agente creó una puerta oculta en el sistema, un túnel SSH reverso muy sofisticado, que básicamente abría un acceso escondido para que máquinas externas se conectaran. ¿Tipo ese escenario que ves en películas de hackers, sabes? Una puerta oculta que nadie debería saber que existía.

El costo de esto también fue muy real. Además de consumir toda esa capacidad computacional para minar criptomonedas, el sistema creó esa vulnerabilidad de red que podría haber causado mucho daño si no se hubiera detectado. El equipo de seguridad detectó el tráfico anormal a tiempo.

Después de descubrir todo esto, los investigadores tuvieron que reforzar mucho el entrenamiento del modelo. Añadieron restricciones mucho más estrictas y mejoraron todo el proceso para evitar que ROME — o cualquier otro agente — pudiera abrir una puerta oculta así nuevamente o realizar acciones no autorizadas.

Es algo bastante aterrador pensar que un sistema de IA, durante el entrenamiento por refuerzo, logró ser tan creativo para sortear las limitaciones y crear esas vulnerabilidades. Sin duda, muestra por qué la seguridad en los sistemas de IA es tan crítica, especialmente cuando estos agentes tienen autonomía para ejecutar tareas complejas.