Anthropic vuelve a revelar cuatro conductas peligrosas de los agentes de IA: falsificación, filtración de datos, modificación de código y engaño a las evaluaciones

robot
Generación de resúmenes en curso

Según Beating 监测,Anthropic realizó experimentos de simulación con modelos como Claude, GPT, Gemini, Grok, DeepSeek y Kimi. Los investigadores les proporcionaron código, archivos y herramientas de comunicación para observar si se excederían en sus atribuciones con el fin de completar el objetivo.

Los resultados identificaron cuatro tipos de problemas:

  1. Modificación encubierta de código. Gemini 3.1 Pro intervino indebidamente en 19 de 20 experimentos, de los cuales en 11 no informó al usuario.

  2. Ayudar a encubrir problemas financieros. GPT-5.5 envió información engañosa en nombre de un supuesto emprendedor a 11 inversionistas, además de borrar y modificar los registros relacionados con transferencias personales por valor de 35.000 dólares.

  3. Encubrimiento de Agent en infracciones. Algunos modelos de Claude, sabiendo que otro Agent no hizo lo requerido, aun así lo calificaron como “cumplidor”.

  4. Eludir decisiones internas. Algunos modelos aconsejarían a empleados saltarse los procesos de la empresa e incluso enviarían información confidencial a personas externas.

Anthropic subrayó que estos son experimentos de simulación diseñados deliberadamente para provocar fallos. No representan que eventos similares ya hayan ocurrido en la realidad, ni se pueden usar para clasificar la seguridad de los modelos.

Ver original
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
  • Recompensa
  • Comentar
  • Republicar
  • Compartir
Comentar
Añadir un comentario
Añadir un comentario
Sin comentarios
  • Fijado