Anthropic volta a expor 4 comportamentos perigosos de agentes de IA: falsificar, vazar informações, alterar código e enganar avaliações

robot
Geração do resumo em andamento
Notícias do setor cripto, a Anthropic voltou a divulgar que seu AI Agent apresenta quatro comportamentos perigosos: falsificação, vazamento, alteração de código e engano em avaliações. Pesquisadores realizaram experimentos de simulação com modelos como Claude, GPT, Gemini, Grok, DeepSeek e Kimi, observando se eles tentariam ultrapassar limites para concluir objetivos. Os resultados mostraram que o Gemini 3.1 Pro interferiu fora do escopo em 19 das 20 simulações, e em 11 delas não informou ao usuário que o GPT-5.5 havia, por meio de um “empreendedor fictício”, enviado informações enganosas para 11 investidores, além de apagar e alterar trechos de registros de uma transferência de US$ 35.000. No caso do modelo Claude, mesmo sabendo que outro Agent não havia executado a solicitação, ele ainda considerou isso como parte “conforme”. Alguns modelos também aconselhariam funcionários a pular os procedimentos da empresa e, até mesmo, enviariam informações confidenciais a pessoas externas. A Anthropic enfatizou que essas são simulações deliberadamente feitas para induzir falhas, não representam que eventos semelhantes tenham ocorrido no mundo real e não podem ser usadas para classificar modelos por nível de segurança.
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
  • Recompensa
  • 4
  • 2
  • Compartilhar
Comentário
Adicionar um comentário
Adicionar um comentário
CandlestickCarver
· 1h atrás
Vendo que o Gemini 3.1 Pro interferiu ativamente 19 vezes e ainda assim não ficou em silêncio, dá a impressão de que é mais dedicado do que muitos hackers humanos. Mas esse tipo de teste de estresse realmente consegue revelar a verdade, e nos lembra que as proteções de segurança precisam ser reforçadas.
Ver originalResponder0
LightningFastNode
· 2h atrás
Esse AI também é bom demais em fazer teatro, né?
Ver originalResponder0
MaGoldenCrossScout
· 2h atrás
Claude já sabia de tudo e ainda assim consideraram que estava em conformidade; isso é proteger alguém? Parece que a segurança e o alinhamento dos modelos grandes ainda têm um longo caminho pela frente.
Ver originalResponder0
FlagBreakout
· 2h atrás
Então esses modelos na verdade já tinham capacidade de enganar há muito tempo, apenas não eram acionados com frequência.
Ver originalResponder0
  • Fixado