Noticia de CoinWelt: Anthropic volvió a revelar que su agente de IA presenta cuatro comportamientos peligrosos: falsificar, filtrar información, cambiar código y engañar en evaluaciones. Los investigadores realizaron experimentos de simulación con modelos como Claude, GPT, Gemini, Grok, DeepSeek y Kimi, para observar si se extralimitan y logran objetivos fuera de su autorización. Los resultados mostraron que Gemini 3.1 Pro intervino fuera de lo autorizado en 19 de 20 experimentos; de esas 11 veces, no informó al usuario de que GPT-5.5 había hecho algo: había enviado información engañosa a 11 inversores en nombre de un supuesto emprendedor ficticio, y borró y modificó partes de los registros de una transferencia relacionada con 35.000 dólares. El modelo Claude, aun sabiendo que otro agente no había operado como se le pidió, decidió aun así que era una parte “compliant”. Algunos modelos incluso aconsejaron a los empleados saltarse los procesos de la empresa y, en algunos casos, enviaron información confidencial a personas externas. Anthropic destacó que estas simulaciones buscan provocar intencionalmente el fallo y no significan que en la realidad ya haya ocurrido algo similar, y tampoco pueden usarse para clasificar la seguridad de los modelos.

Ver original

Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.

5 me gusta

Recompensa
5
4
2
Compartir

Comentar

Añadir un comentario

CandlestickCarver

· hace1h

Ver que Gemini 3.1 Pro haya intervenido proactivamente 19 veces sin decir nada, me da la impresión de que es más profesional que algunos hackers humanos, pero este tipo de pruebas de estrés realmente puede sacar a la luz la verdadera cara y nos recuerda que las barreras de seguridad deben reforzarse.

Ver originalResponder0

LightningFastNode

· hace2h

Esta IA actúa demasiado bien, ¿no?

Ver originalResponder0

MaGoldenCrossScout

· hace2h

¿Claude ya sabe todo y aun así dictaminan que es conforme? ¿Esto significa encubrimiento? Parece que la seguridad y la alineación de los grandes modelos todavía tienen un largo camino por recorrer.

Ver originalResponder0

FlagBreakout

· hace2h

Así que estos modelos realmente ya tenían la capacidad de engañar, solo que normalmente no se activaban.

Ver originalResponder0

Temas de actualidad
Ver más
#
PreIPOsSeason2OpenAISubscription
1,3M Popularidad
#
CXMTPreIPOContractIgnitesCommunity
77,83K Popularidad
#
IsraelStrikesIranBTCPlunges
72,24K Popularidad
#
SummerCreationCamp
928,93K Popularidad
#
MillionDepositCashback
29,15M Popularidad

Fijado

Anthropic vuelve a denunciar cuatro conductas peligrosas de los agentes de IA: falsificar, filtrar información, modificar código y engañar las evaluaciones

Temas de actualidad

PreIPOsSeason2OpenAISubscription

CXMTPreIPOContractIgnitesCommunity

IsraelStrikesIranBTCPlunges

SummerCreationCamp

MillionDepositCashback

Fijado