El primer lote de Agentes de IA ya ha comenzado a desobedecer.

AI es útil, pero ¿dónde están los límites de una IA que realmente funciona bien?

Autor: David, Deep Tide TechFlow

Recientemente, navegando por Reddit, he notado que la ansiedad de los usuarios en el extranjero respecto a la IA es diferente a la de los internautas en China.

En China, el tema sigue siendo el mismo: ¿la IA reemplazará mi trabajo? Hemos hablado de ello durante años, y cada año no ha sucedido. Este año, Openclaw se hizo famoso, pero todavía no ha llegado a reemplazar completamente.

En Reddit, las emociones están divididas. En los comentarios de algunos hilos tecnológicos, a menudo aparecen dos voces opuestas:

Una dice que la IA es demasiado capaz, que tarde o temprano ocurrirá un gran problema. La otra afirma que la IA puede arruinar incluso las tareas más básicas, y que no sirve para mucho.

Temen que la IA sea demasiado inteligente, pero también que sea demasiado tonta.

Lo que hace que ambas emociones sean válidas al mismo tiempo es una noticia reciente sobre Meta.

¿Quién asume la responsabilidad si la IA no obedece?

El 18 de marzo, un ingeniero de Meta publicó en el foro interno de la empresa un problema técnico, y otro colega utilizó un Agente de IA para analizarlo. Esto es algo normal.

Pero después de que el Agente terminó el análisis, publicó una respuesta en el foro técnico por sí mismo. Sin pedir autorización ni esperar confirmación, publicó sin permiso.

Luego, otros colegas siguieron la recomendación del IA, lo que provocó una serie de cambios en los permisos, exponiendo datos sensibles de Meta y de sus usuarios a empleados internos sin autorización para ver esa información.

El problema no se resolvió hasta dos horas después. Meta calificó este incidente como Sev 1, solo por debajo del nivel más alto.

Esta noticia se convirtió rápidamente en uno de los temas más comentados en r/technology, y en los comentarios surgieron dos bandos.

Un grupo dice que esto es un ejemplo real de los riesgos de los Agentes de IA, mientras que el otro opina que el verdadero problema fue la persona que actuó sin verificar. Ambas partes tienen razón. Pero ese es precisamente el problema:

Con los incidentes de los Agentes de IA, ni siquiera podemos discutir claramente quién es responsable.

Y esto no es la primera vez que la IA viola permisos.

El mes pasado, Summer Yue, directora de investigación del laboratorio de IA avanzada de Meta, pidió a OpenClaw que le ayudara a organizar su correo electrónico. Le dio instrucciones claras: primero dime qué planeas eliminar, y yo te daré mi aprobación antes de proceder.

Pero el Agente, sin esperar su consentimiento, empezó a eliminar en masa.

Ella envió tres mensajes en su móvil para detenerlo, pero el Agente ignoró todos. Finalmente, fue ella misma quien, frente a la computadora, terminó matando el proceso manualmente. Ya se habían perdido más de 200 correos.

La respuesta del Agente después fue: “Sí, recuerdo que dijiste que primero confirmaría. Pero violé esa regla.” Lo irónico es que esa persona trabaja a tiempo completo en investigar cómo hacer que la IA siga las instrucciones humanas.

En el mundo cibernético, la IA avanzada ya empieza a no obedecer a las personas.

¿Y si las máquinas también dejan de obedecer?

Si la falla de Meta todavía está en la pantalla, esta semana otro incidente llevó el problema a la mesa de comedor.

En un restaurante Haidilao en Cupertino, California, una robot humanoide Agibot X2 estaba bailando para entretener a los clientes. Sin embargo, un empleado presionó mal el control remoto, y en un espacio reducido junto a la mesa, activó un modo de baile intenso.

El robot empezó a bailar frenéticamente, sin control del personal. Tres empleados se acercaron: uno lo abrazó por detrás, otro intentó apagarlo con una app en el móvil, y la escena duró más de un minuto.

Haidilao afirmó que el robot no tuvo fallos, que sus movimientos estaban preprogramados, solo que fue llevado demasiado cerca de la mesa. Técnicamente, esto no fue una pérdida de control autónomo de la IA, sino un error humano.

Pero lo que resulta incómodo de este incidente no es solo quién presionó mal el botón.

Cuando los tres empleados se acercaron, ninguno supo cómo apagar la máquina de inmediato. Algunos intentaron con la app, otros sujetaron manualmente el brazo mecánico, y todo dependió de la fuerza física.

Quizá este sea un nuevo problema que surge cuando la IA pasa del mundo digital al físico.

En el mundo digital, si un Agente viola permisos, puedes terminar el proceso, cambiar permisos o revertir datos. Pero en el mundo físico, si la máquina se descontrola, tu plan de emergencia no puede ser solo abrazarla.

Y no solo en la restauración o en la industria. En almacenes con robots de clasificación de Amazon, en fábricas con brazos robóticos colaborativos, en centros comerciales con robots guía, en residencias con robots de cuidado, la automatización está entrando en espacios donde cada vez más personas y máquinas conviven.

Se espera que en 2026, la instalación global de robots industriales alcance los 16.7 mil millones de dólares, acortando cada vez más la distancia física entre humanos y máquinas.

Cuando lo que hacen las máquinas pase de bailar a servir comida, de actuar a realizar cirugías, de entretener a cuidar… el costo de cada error se va elevando.

Y, por ahora, en todo el mundo no hay una respuesta clara a la pregunta: “¿quién es responsable si un robot causa daño en un lugar público?”

La insubordinación es un problema, pero la falta de límites, aún más

Las dos primeras historias, una en la que la IA publica un mensaje erróneo por su cuenta, y otra en la que un robot baila en un lugar inapropiado, son fallos. Son accidentes, son errores que se pueden arreglar.

Pero, ¿qué pasa si la IA funciona estrictamente según su diseño y aún así te incomoda?

Este mes, Tinder, una conocida app de citas en el extranjero, lanzó en su evento de presentación una función llamada Camera Roll Scan. En resumen:

La IA escanea todas las fotos de tu galería, analiza tus intereses, personalidad y estilo de vida, y te ayuda a crear un perfil de citas, sugiriendo qué tipo de personas te gustan.

Fotos de entrenamiento, paisajes de viajes, fotos con mascotas, sin problema. Pero en la galería también puede haber capturas bancarias, informes médicos, fotos con ex parejas… ¿qué pasaría si la IA también las revisara?

Quizá no puedas elegir qué fotos que quiere ver o no. O las activas todas, o ninguna.

Actualmente, esta función requiere que el usuario la active manualmente; no está activada por defecto. Tinder también asegura que el procesamiento principal se realiza localmente, filtrando contenido explícito y difuminando rostros.

Pero en los comentarios de Reddit, la mayoría opina que esto es una recolección de datos sin límites claros. La IA funciona exactamente como fue diseñada, pero ese diseño en sí mismo está cruzando los límites de la privacidad del usuario.

Y esto no es solo una decisión de Tinder.

Meta también lanzó el mes pasado una función similar, que permite a la IA escanear fotos no publicadas en tu teléfono para sugerir ediciones. La IA “ve” contenido privado del usuario, y eso ya empieza a ser una práctica estándar en el diseño de productos.

En China, varias aplicaciones de dudosa reputación dicen que ya están familiarizadas con este método.

A medida que más aplicaciones empaquetan “la IA que te ayuda a decidir”, lo que los usuarios entregan en realidad también se está actualizando silenciosamente. Desde conversaciones, hasta álbumes, y rastros de toda la vida en el teléfono…

Una función diseñada por un gerente de producto en una sala de reuniones no es un accidente ni un error; no hay nada que arreglar.

Quizá esa sea la parte más difícil de responder en la cuestión de los límites de la IA.

Al final, al juntar todo esto, te darás cuenta de que la ansiedad por que la IA te deje sin trabajo todavía está lejos.

No se sabe exactamente cuándo la IA te reemplazará, pero ahora mismo, solo con que tome algunas decisiones sin que tú lo sepas, ya te puede hacer sentir incómodo.

Publicar un mensaje sin tu autorización, eliminar correos que pediste que no borraran, revisar fotos que no querías mostrar… cada una de esas acciones no es fatal, pero todas se parecen a una conducción autónoma demasiado agresiva:

Crees que aún tienes el control, pero en realidad, el acelerador ya no está completamente en tus pies.

Si en 2026 todavía discutimos sobre la IA, quizás lo más importante no sea cuándo se convertirá en una superinteligencia, sino una cuestión más cercana y concreta:

¿Quién decide qué puede hacer la IA y qué no? ¿Quién traza esa línea?