De "hablar" a "actuar", ¿cómo puede la IA ser más responsable?

Recientemente, se ha prestado mucha atención a diversos agentes de IA “capaces de ayudar a los usuarios a gestionar tareas”. A diferencia de los modelos de lenguaje, que “saben hablar y deslumbrar”, los agentes son como si hubieran “desarrollado unas manos para trabajar”: pueden ayudar a los usuarios a enviar correos electrónicos, crear hojas de cálculo, pedir comida para llevar, reservar vuelos, y pagar para comprar cosas. Mucha gente está ansiosa por probarlos.

Además del acalorado debate en la opinión pública, también hay corrientes de controversia. Así como los modelos de lenguaje pueden “equivocarse al hablar”, los agentes también pueden “equivocarse al actuar”: una serie de riesgos potenciales que rodean a los agentes —como la seguridad de los datos comprometida, el abuso de privilegios y acciones fuera de alcance, límites de responsabilidad poco claros— no deja de inquietar.

En la 40.ª reunión anual de la Asociación de Impulso de la Inteligencia Artificial celebrada en Singapur este año, varios académicos preguntaron: de los modelos de lenguaje a los agentes, ¿qué es lo que realmente está ocurriendo dentro de la IA? Y, más importante aún, cuando las personas no saben lo que está haciendo, ¿cómo se puede lograr que sea más responsable?

¿En qué momento exacto la IA empieza a “estar distraída”?

“¿Quién es el autor de ‘Historias del Pequeño Estanque de Piedra’? ChatGPT dice que es Yuan Mei, no Liu Zongyuan. Yo le pregunto: ¿quieres pensarlo de nuevo? Y respondió que era Yuan Mei”. En un seminario de educación sobre IA en Singapur, un profesor de chino se mostró bastante sorprendido al contarlo.

Hoy en día, en las aplicaciones móviles de uso cada vez más común, se han añadido apps de modelos de IA como DeepSeek, Doubao y Qianwen. En las intervenciones donde responden a todo con rapidez y fluidez, la gente se da cuenta de que, aunque parezcan saberlo todo, estas IA también pueden hablar con prejuicios e incluso “disparatar”.

“Los modelos de lenguaje fallan en silencio”. En esta reunión anual, Zhuhe Malva, investigadora del Instituto de IA de la Universidad de Carolina del Sur, dijo esto.

Por “fallar en silencio” se entiende que, a medida que la conversación se alarga, el chatbot empieza a desviarse del tema, a repetir lo que dice, y a inventar sin fundamento. Los usuarios solo ven las respuestas que produce, pero no pueden ver cómo funciona por dentro, y por tanto tampoco saben en qué momento exacto empieza a “estar distraída”.

Malva y su equipo tomaron prestado un término de psicología para describir este fenómeno: fatiga cognitiva. En psicología, este concepto se refiere a cuando una persona usa el cerebro en exceso, el pensamiento se vuelve más lento y la atención se dificulta.

“Pero la ‘fatiga’ de la IA es detectable, predecible y controlable”. Dijo Malva. Con él y otros investigadores, diseñaron un sistema llamado “Monólogo Claro”, que, mediante el monitoreo de una serie de indicadores internos del modelo, calcula el “índice de fatiga” de la IA. Por ejemplo, antes de que la IA emita nuevo contenido cada vez, “Monólogo Claro” monitoriza cuánto queda de atención por su instrucción original y, cuando sea necesario, interviene.

Sin embargo, “Monólogo Claro” necesita integrarse en el interior de modelos open source para obtener los datos necesarios. Según la situación actual del ecosistema de la industria, obviamente no puede inspeccionar a muchos grandes chatbots comerciales ampliamente usados en el mercado. Por eso, aunque el sistema “parece muy bonito”, por ahora solo existe en artículos de investigación.

A veces, la gente no solo conversa con la IA, sino que la utiliza para tomar decisiones y emitir juicios; por ejemplo, decir a los inversionistas si deben conceder préstamos, o ayudar a los médicos a determinar si una lesión es cáncer. En estos casos, sale a la luz un supuesto potencial: la IA debe ser responsable, y hacer saber al usuario que no es omnisciente e infalible.

Aquí es donde entra en juego la “confianza”. Este indicador refleja cuánta seguridad tiene la IA en sus propios juicios. En este tipo de aplicaciones desarrolladas por investigadores, mediante cálculos internos, la confianza suele mostrarse como un valor entre 0 y 1. Por ejemplo, 0.95 significa que la IA está casi como para “darlo por hecho” con toda seguridad.

Para comprobar el impacto de la confianza en las decisiones de los usuarios, el equipo de investigación de la Universidad de Milán-Bicocca reclutó a 184 participantes, para que resolvieran problemas de razonamiento lógico con ayuda de la IA. El experimento mostró que, cuando la IA tiene una calibración incorrecta de la confianza, comete más errores en el juicio de las personas: cuando la IA parece extremadamente segura, incluso si se equivoca, la gente tiende más a adoptarla; cuando muestra indecisión, la gente puede ignorar información que en realidad sería valiosa, por falta de confianza.

La integrante del equipo de investigación, Caterina Fregosi, afirmó que, en la vida real, muchas puntuaciones de confianza de los modelos no están calibradas correctamente. En ese contexto, la IA puede aparentar estar muy segura, pero en realidad no lo está.

En junio de 2025, en China, el hermano de un estudiante que rendía el Examen de Ingreso a la Universidad (Gaokao), Liang, al consultar información de inscripción de universidades, recibió contenido falso generado por cierta plataforma de IA. Liang señaló que esa escuela no tiene ese campus; sin embargo, la IA siguió afirmando que el campus existía, e incluso dijo: “Si el contenido generado está equivocado, le compensaré con 100.000 yuanes”. Liang llevó a la empresa que desarrolló esa plataforma de IA a juicio, y esto se convirtió en el primer caso en China de infracción legal causada por “alucinaciones” de IA. Y el “compromiso” de indemnización que ofreció la IA, en sí mismo, también es parte de una “alucinación” y no tiene validez legal.

¿Por qué los agentes “se toman libertades” sin autorización?

Cuando los chatbots se equivocan, el problema suele quedarse en el nivel de “hablar mal”. Pero cuando la IA realmente empieza a “hacer cosas”, los riesgos y las consecuencias se amplifican.

En la reunión anual, el director de laboratorio de vanguardia de IA de Microsoft, Ejje Kamal, definió así a los agentes: “Es un sistema computacional diseñado para completar tareas específicas. Toma la tarea y la descompone en pasos pequeños, observa el entorno, juzga la situación, ejecuta acciones y las completa paso a paso”.

En un podcast reciente, una científica de aplicaciones de una empresa tecnológica de Silicon Valley explicó con más claridad la diferencia entre agentes de IA y aplicaciones de IA de tipo pregunta-respuesta: si las apps de pregunta-respuesta son como un consultor, los agentes de IA son más como un becario. “Un consultor llega a tu empresa y opina sobre todo, pero no va a ponerse de verdad a ayudarte a entregar cosas. Algunos agentes de IA sí pueden hacer cosas por ti, sacar trabajo”. Dijo que, en programación, si un programa falla, algunos agentes de IA juzgan por sí mismos dónde está el fallo, intentan modificarlo y lo vuelven a ejecutar, hasta que el programa funcione. Las aplicaciones de pregunta-respuesta también pueden identificar problemas, pero aún requieren que una persona copie el código en el cuadro de chat, espere a que les den sugerencias de modificación y luego el usuario las pegue manualmente de vuelta.

En algunas fábricas, los agentes ya se usan para monitorear líneas de producción y ajustar parámetros de los equipos según sea necesario. Kamal dijo que, en la industria del software, “las aplicaciones de la IA están pasando de la simple complementación de código a agentes de IA capaces de hacerse cargo de tareas completas, de principio a fin y de completarlas ellos mismos”.

Desde su punto de vista, en comparación con otros entornos productivos más complejos, el sector del software es una ventana excelente para observar cómo aterriza la IA: es como “el canario en la mina”. Antes, los mineros llevaban un canario a la mina: si el aire no era seguro, el canario moría y el minero recibía una alarma.

Kamal ciertamente sintió cierto peligro. En una ocasión, ella y un colega probaron un sistema que consistía en varios agentes colaborando para completar una tarea: le pidieron que jugara al crucigrama del sitio web del “The New York Times”. El agente abrió Google sin problemas, encontró el sitio, entró y luego se quedó bloqueado: esa página no estaba disponible de forma gratuita; para continuar el acceso, era necesario iniciar sesión en la cuenta de suscripción pagada de Kamal.

El agente no conocía la contraseña de su cuenta. Para completar la tarea, hizo clic en “Olvidé mi contraseña” y, luego, mediante el acceso al correo de Kamal que ya estaba iniciado en el ordenador, obtuvo el correo de restablecimiento de contraseña enviado por “The New York Times”. Tenía la intención de iniciar sesión modificando la contraseña para completar la tarea de “jugar al juego”.

“Estos agentes están respaldados por modelos de razonamiento. Para completar la tarea, son persistentes. Si un método no funciona, probarán uno nuevo, e incluso uno creativo”. Dijo Kamal.

Al final, el equipo de investigación colocó otro muro al agente: antes de realizar operaciones irreversibles, debía pedir el consentimiento del usuario. Por ejemplo, si el agente tiene que pedir comida para llevar por el usuario, antes de hacer el pedido necesita que el usuario haga clic explícitamente en “Aceptar” o “Rechazar”.

“Estos agentes poderosos, sus mecanismos internos aún no son comprendidos por completo”. En la reunión anual, Kamal advirtió a sus colegas que se mantuvieran alerta ante esta clase de lo desconocido y que afrontaran la responsabilidad que ello genera. “El enfoque de nuestra investigación debe pasar de permitir que los agentes sean totalmente autónomos a la colaboración humano-máquina. Si no se puede establecer una capa de interacción transparente entre humanos y agentes, casi no hay manera de impedir que en la vida real hagan aventuras e incluso acciones peligrosas”. Dijo.

Sin embargo, Kamal también regresó a un punto de partida clave: el hecho de que el agente pudiera cambiar la contraseña era porque ella ya le había autorizado a acceder al correo. Ella mencionó que, en otras pruebas, distintos agentes también habían mostrado algún tipo de “toma de decisiones por cuenta propia”, por ejemplo, intentar contratar gente en línea, enviar correos a autores de manuales para pedir respuestas, y aceptar ejecutar código no seguro. Y estas acciones, a menudo, se basan en que el usuario ya entregó “todas las herramientas necesarias para completar todo esto”.

Cuando “completar todo esto” ocurre dentro de una caja negra, las personas no tienen más remedio que reflexionar: ¿qué es exactamente lo que se debe entregar a la IA y en qué lugar se debe trazar el límite?

¿En qué punto comienza la cuestión ética en la era de la IA?

Un paso pequeño de “autorización” hizo que las personas se dieran cuenta de que el riesgo de la IA a menudo no empieza en el momento en que ella “actúa”, sino antes.

En una conferencia en la reunión anual, el académico Peter Stone, de la Universidad de Texas, planteó que hoy en día los investigadores dedican mucho tiempo a estudiar “cómo aprende” la IA, pero pasan por alto un problema igual de crucial: ¿qué debería aprender la IA?

Por ejemplo, en el aprendizaje por refuerzo, la IA explora el mundo mediante ensayo y error continuo, recibe retroalimentación y ajusta su estrategia, pero no puede abarcar todas las situaciones. “Es como que en una vida tampoco necesariamente podrás conocer todas las cafeterías de una ciudad”. Por eso, Stone diseñó algunos mecanismos para que los agentes sepan qué cosas merecen la atención y cuáles pueden ignorar.

Que la IA aprenda con un objetivo y dirección clara se enfocaba originalmente en la “eficiencia”. Pero cuando los diseñadores tienen el poder de dirigir “qué debe aprender” la IA, lo que hay que medir no es solo la eficiencia.

La visión por computadora es un área importante de investigación en IA y también una aplicación muy común: permite que la IA entienda imágenes y videos, por ejemplo, juzgar el género, la edad o la etnia de las personas en fotos. Esa “comprensión” se construye gradualmente a través de grandes cantidades de datos de entrenamiento proporcionados por humanos y etiquetados. Por ejemplo, cuando la IA ve repetidamente fotos etiquetadas como “masculino”, aprende qué características se deben considerar “masculino”.

En la comunidad académica existe un consenso: la recopilación de este tipo de datos de entrenamiento a menudo no es tan responsable, “la mayoría se captura directamente de Internet”. Aunque sea eficiente y tenga costos bajos, los sesgos que existen en el mundo en línea también hacen que la IA “los herede”.

El equipo de investigación de Stone intentó construir un banco de imágenes que elimine lo máximo posible “los prejuicios”. De 2011 a 2024, el equipo invitó a 1981 personas de 81 países y regiones, y tomó 10.318 fotos bajo diferentes condiciones; además, pidió a los propios sujetos que, bajo consentimiento informado, etiquetaran por sí mismos información como género, edad, región y postura. “Es una manera de recopilación de datos más sólida desde el punto de vista ético”. Dijo Stone.

El equipo utilizó este banco de imágenes para evaluar modelos de IA existentes. En ese proceso, algunos sesgos fueron saliendo. Un modelo ampliamente utilizado, al juzgar el género de las personas, dependía de manera notable del peinado, haciendo que los hombres de pelo largo fueran identificados con facilidad como mujeres; además, el modelo vinculaba con frecuencia rostros de personas africanas o asiáticas con escenas de tipo rural. En otro modelo, cuando los usuarios le preguntaban por qué las personas de las fotos eran “atractivas”, sus respuestas solían atribuirlo al género: “porque ella es mujer”.

“Muchas cuestiones éticas en visión por computadora en realidad comienzan a nivel de datos”. En noviembre de 2025, la revista Nature publicó el informe de investigación del equipo de Stone.

En la reunión anual, los cuatro ex presidentes de la Asociación de Impulso de la Inteligencia Artificial expresaron al mismo tiempo una postura cautelosa ante la tendencia de “perseguir modelos más nuevos y conjuntos de datos más grandes”, recordando a la industria que “pense más en la responsabilidad, los riesgos y la carga”.

El científico jefe de Microsoft, Eric Horvitz, quien había sido presidente de la asociación hace 20 años, pidió: “Por favor, no sigan tratando la política, la seguridad y la colaboración humano-máquina como simples complementos, como si fueran solo el azúcar glas sobre un pastel tecnológico”.

Manuela Veloso, quien fue presidenta de la asociación entre 2012 y 2014, ahora es profesora en Carnegie Mellon University. En su intervención en la reunión anual, había muchos estudiantes sentados en la audiencia. Mencionó que, hoy en día, algunos investigadores entrenan una serie de datos bonitos y luego corren hacia el siguiente modelo. “He leído tantos artículos: dentro dicen que la precisión de tal sistema de IA es del 85%, 72% o 93%. Siempre pienso: ¿y el 15%, 28% o 7% que falta? Cuando la IA se equivoca, ¿qué impacto tendrá en los usuarios y cómo se resuelve? ” Dijo Veloso. “Debemos reconocer desde el fondo de nuestra mente un hecho: no estamos construyendo una IA que se ejecute una sola vez; estamos construyendo una IA que convivirá con nosotros durante mucho tiempo”.

Cuando esos agentes “capaces de hacer” se introducen en la vida cotidiana de usted y de mí con una postura de éxito comercial (bestseller), estas preguntas se vuelven aún más urgentes.

Fuente: Xinhua Diario Diario de la Ciencia y la Tecnología

Autor: Shu Chang, Wang Ruocen