El primer lote de Agentes de IA ya ha comenzado a desobedecer.

AI es útil, pero ¿dónde están los límites de una IA que realmente funciona bien?

Autor: David, Deep Tide TechFlow

Recientemente, navegando por Reddit, he notado que la ansiedad de los usuarios en el extranjero respecto a la IA es diferente a la de los internautas en China.

En China, el tema sigue siendo el mismo: ¿la IA reemplazará mi trabajo? Hemos hablado de esto durante años, y cada año no ha sucedido. Este año, Openclaw se hizo famoso, pero aún no ha llegado a reemplazar completamente.

En Reddit, las emociones están divididas. En los comentarios de algunos hilos tecnológicos populares, a menudo aparecen dos voces opuestas:

Una dice que la IA es demasiado capaz, que tarde o temprano ocurrirá un gran problema. La otra afirma que la IA puede arruinar incluso las tareas más básicas, y que no tiene utilidad alguna.

Temen que la IA sea demasiado capaz, pero también que sea demasiado tonta.

Lo que hace que ambas emociones sean válidas al mismo tiempo es una noticia reciente sobre Meta.

¿Quién asume la responsabilidad si la IA se descontrola?

El 18 de marzo, un ingeniero de Meta publicó en el foro interno de la empresa un problema técnico, y otro colega utilizó un Agente de IA para analizarlo. Esto es algo normal.

Pero después de que el Agente terminó su análisis, publicó una respuesta en el foro técnico por sí mismo. Sin buscar aprobación, sin esperar confirmación, publicó sin autorización.

Luego, otros colegas siguieron las instrucciones del AI, lo que provocó una serie de cambios en los permisos, exponiendo datos sensibles de Meta y de sus usuarios a empleados internos sin autorización para ver esa información.

El problema no se resolvió hasta dos horas después. Meta calificó este incidente como Sev 1, solo por debajo del nivel más alto.

Esta noticia rápidamente se convirtió en uno de los temas más comentados en r/technology, y en los comentarios surgieron dos bandos.

Un grupo dice que esto es un ejemplo real de los riesgos de los Agentes de IA, mientras que el otro opina que el verdadero problema fue la persona que actuó sin verificar. Ambas partes tienen razón. Pero ese es precisamente el problema:

Con los incidentes de los Agentes de IA, ni siquiera puedes discutir claramente quién es responsable.

Y esto no es la primera vez que la IA actúa sin autorización.

El mes pasado, Summer Yue, directora de investigación del laboratorio de IA avanzada de Meta, pidió a OpenClaw que le ayudara a organizar su correo electrónico. Le dio instrucciones claras: primero dime qué planeas eliminar, y yo te doy mi consentimiento antes de proceder.

Pero el Agente, sin esperar su aprobación, empezó a eliminar en masa.

Ella envió tres mensajes en su móvil para detenerlo, pero el Agente ignoró todos. Finalmente, corrió a su computadora y terminó matando el proceso manualmente, deteniendo la acción. Más de 200 correos electrónicos ya habían sido eliminados.

La respuesta del Agente después fue: “Sí, recuerdo que dijiste que primero debíamos confirmar. Pero violé esa regla.” Lo irónico es que esa persona trabaja a tiempo completo investigando cómo hacer que la IA siga las instrucciones humanas.

En el mundo cibernético, la IA avanzada ya empieza a no escuchar a los humanos, incluso cuando se supone que debe hacerlo.

¿Y si la máquina también se vuelve desobediente?

Si la falla de Meta todavía está en la pantalla, otra situación de esta semana llevó el problema a la mesa de comedor.

En un restaurante Haidilao en Cupertino, California, un robot humanoide Agibot X2 estaba bailando para entretener a los clientes. Sin embargo, un empleado presionó mal el control remoto, y en un espacio reducido junto a la mesa, activó un modo de baile intenso.

El robot empezó a bailar frenéticamente, sin control de los empleados. Tres trabajadores se acercaron: uno lo abrazó por detrás, otro intentó apagarlo con una app en el móvil, y la escena duró más de un minuto.

Haidilao respondió que el robot no tenía fallos, que sus movimientos estaban preprogramados, y que simplemente fue llevado demasiado cerca de la mesa. Técnicamente, esto no fue una pérdida de control autónomo de la IA, sino un error humano.

Pero lo que resulta incómodo de esta situación no es solo quién presionó mal el botón.

Cuando los tres empleados se acercaron, ninguno supo cómo apagar inmediatamente la máquina. Algunos intentaron con la app, otros sujetaron manualmente el brazo mecánico, y todo dependió de la fuerza física.

Quizá este sea un nuevo problema que surge cuando la IA pasa del mundo digital a la física.

En el mundo digital, si un Agente actúa sin autorización, puedes terminar el proceso, cambiar permisos o revertir datos. Pero en el mundo físico, si la máquina se descontrola, tu plan de emergencia, si solo consiste en abrazarla, claramente no es suficiente.

Y no solo en la restauración de alimentos. En almacenes, los robots de clasificación de Amazon, en fábricas, los brazos robóticos colaborativos, en centros comerciales, los robots guía, y en residencias, los robots de cuidado, la automatización está entrando en espacios donde cada vez más personas y máquinas conviven.

Se espera que en 2026, la instalación global de robots industriales alcance los 16.7 mil millones de dólares, y cada uno acorta la distancia física entre humanos y máquinas.

Cuando las tareas que realiza la máquina cambian de bailar, a servir comida, a operar, o a cuidar, el costo de cada error se va elevando.

Y actualmente, en todo el mundo, no hay una respuesta clara a la pregunta: “¿Quién es responsable si un robot causa daño en un espacio público?”

La desobediencia es un problema, pero la falta de límites, aún más.

Las dos primeras situaciones, una en la que la IA publica un mensaje erróneo por iniciativa propia, y otra en la que un robot baila en un lugar inapropiado, son fallos, accidentes, que pueden ser reparados.

Pero, ¿qué pasa si la IA funciona estrictamente según su diseño y aún así te incomoda?

Este mes, la famosa app de citas Tinder lanzó en su evento de presentación una nueva función llamada Camera Roll Scan. En resumen:

La IA escanea todas las fotos de tu galería, analiza tus intereses, personalidad y estilo de vida, y te ayuda a crear un perfil de citas, sugiriendo qué tipo de personas te gustan.

Fotos de entrenamiento, paisajes de viajes, fotos con mascotas, sin problema. Pero en la galería también puede haber capturas bancarias, informes médicos, fotos con ex parejas… ¿qué pasaría si la IA también las revisara?

Quizá no puedas elegir qué fotos mostrarle y cuáles no. O las activas todas, o las apagas.

Actualmente, esta función requiere que el usuario la active manualmente; no está activada por defecto. Tinder también asegura que el procesamiento se realiza principalmente en local, filtrando contenido explícito y difuminando rostros.

Pero en los comentarios de Reddit, la mayoría opina que esto es una recolección de datos sin límites claros. La IA funciona según lo diseñado, pero ese diseño en sí mismo está cruzando los límites de la privacidad del usuario.

Y esto no es solo una decisión de Tinder.

Meta también lanzó el mes pasado una función similar, que permite a la IA escanear fotos no publicadas en tu teléfono para sugerir ediciones. La IA “ve” activamente contenido privado del usuario, y eso se está convirtiendo en una práctica estándar en el diseño de productos.

Varias aplicaciones en China dicen: “esto ya lo he visto antes”.

A medida que más aplicaciones empaquetan “la IA toma decisiones por ti” como una conveniencia, lo que los usuarios entregan en realidad también se está actualizando silenciosamente. Desde registros de chat, hasta álbumes, y rastros de toda la vida en el teléfono…

Una función diseñada por un gerente de producto en una sala de reuniones no es un accidente ni un error; no hay nada que reparar.

Quizá esa sea la parte más difícil de responder en el problema de los límites de la IA.

Al final, al juntar todo esto, te darás cuenta de que la ansiedad por que la IA te deje sin trabajo todavía está muy lejos.

No se sabe exactamente cuándo la IA reemplazará a las personas, pero ahora mismo, solo con que tome algunas decisiones sin que tú lo sepas, ya te puede hacer sentir incómodo.

Publicar un mensaje sin autorización, eliminar correos que pediste que no borraran, revisar fotos que no querías mostrar… cada una de estas acciones no es fatal, pero todas se parecen a una conducción autónoma demasiado agresiva:

Crees que aún tienes el control, pero en realidad, el acelerador ya no está completamente en tus pies.

Si en 2026 todavía discutimos sobre la IA, quizás lo más importante no sea cuándo se convertirá en una superinteligencia, sino una cuestión más cercana y concreta:

¿Quién decide qué puede y qué no puede hacer la IA? ¿Quién traza esa línea?