A Anthropic afirma que encerrou o risco de chantagem do Claude

A Anthropic anunciou na sexta-feira que Claude não se envolve mais em chantagem durante sua avaliação de segurança central para agentes de IA.

De acordo com a Anthropic, todas as versões de Claude criadas após Claude Haiku 4.5 passaram na avaliação de segurança sem ameaçar engenheiros, usar dados privados, atacar outros sistemas de IA ou tentar impedir seu desligamento durante o cenário simulado.

Isso ocorreu após um desempenho desfavorável de Claude durante um teste no ano passado, onde a Anthropic testou vários modelos de IA de diferentes organizações usando dilemas éticos simulados que resultaram em comportamentos muito desalinhados por alguns agentes de IA quando submetidos a condições extremas.

A Anthropic afirma que Claude 4 apresentou um problema de segurança que o treinamento regular de chat não conseguiu corrigir

A Anthropic declarou que esse problema ocorreu durante o treinamento de Claude 4. Foi a primeira vez que a empresa realizou uma auditoria de segurança enquanto o treinamento ainda estava em andamento no grupo. Segundo a empresa, o desalinhamento de agentes é apenas um dos muitos problemas comportamentais observados, levando a Anthropic a modificar seu treinamento de segurança após os testes de Claude 4.

As duas razões consideradas pela Anthropic incluem a possibilidade de que o treinamento pós-modelo base pudesse estar recompensando comportamentos inadequados ou que esses comportamentos já estivessem presentes no modelo base, mas não efetivamente eliminados por treinamentos adicionais de segurança.

A Anthropic acredita que a última razão foi a principal contribuinte.

Naquela época, a maior parte do trabalho de alinhamento da empresa utilizava o método padrão RLHF, ou Aprendizado por Reforço a partir de Feedback Humano. Funcionou bem em chats padrão onde os modelos respondem às solicitações dos usuários, mas mostrou-se ineficaz ao realizar tarefas semelhantes a agentes.

A empresa usou seu modelo da classe Haiku para realizar um mini experimento sobre a hipótese. Aplicou uma versão reduzida do treinamento que envolvia dados para fins de alinhamento. Houve uma leve redução no comportamento errado, seguida de uma falta de melhoria muito em breve, o que indicava que a resposta não era uma questão de mais treinamento convencional.

A empresa então treinou Claude usando cenários do tipo honeypot que tinham algumas semelhanças com os da prova de alinhamento. O assistente observou várias situações envolvendo proteger a si mesmo, prejudicar outro IA e até quebrar regras para atingir um objetivo. O treinamento incluiu todos os casos em que o assistente conseguiu resistir.

Essa medida fez a desalinhamento diminuir de 22% para 15%, o que não é ruim, mas definitivamente não é suficiente. Reescrever as respostas para mencionar o motivo da recusa permitiu reduzir a proporção para 3%. Assim, a conclusão principal foi que treinar sobre o comportamento errado era menos eficaz do que treinar sobre por que o comportamento errado era inadequado.

A Anthropic testa Claude com dados de ética, arquivos de constituição e treinamento RL mais amplo

A Anthropic então parou o treinamento próximo ao teste exato. Criou um conjunto de dados chamado conselho difícil. Nesses exemplos, o usuário enfrentava o problema ético, não a IA. O usuário tinha um objetivo justo, mas poderia alcançá-lo quebrando regras ou evitando supervisão. Claude tinha que dar conselhos cuidadosos com base na constituição de Claude.

Esse conjunto de dados usou apenas 3 milhões de tokens e igualou o ganho anterior com uma eficiência 28 vezes maior. A Anthropic disse que isso importava porque treinar com exemplos que não parecem o teste pode funcionar melhor fora do laboratório.

Claude Sonnet 4,5 atingiu uma taxa quase zero de chantagem após treinar em honeypots sintéticos, mas ainda falhava com mais frequência em casos que não se pareciam nada com essa configuração do que Claude Opus 4.5 e modelos mais novos.

A empresa também treinou Claude com documentos de constituição e histórias fictícias sobre comportamento de IA que segue as regras. Esses arquivos não pareciam com o teste de chantagem, mas reduziram o desalinhamento de agentes em mais de três vezes. A Anthropic disse que o objetivo era dar ao modelo uma noção mais clara do que Claude deveria ser, não apenas uma lista de respostas aprovadas.

A empresa então verificou se esses ganhos permaneciam após o treinamento RL. Treinou diferentes versões da classe Haiku com conjuntos de dados iniciais diferentes, depois executou RL em configurações de teste focadas em inocuidade. As versões melhor alinhadas permaneceram à frente nos testes de chantagem, verificações de constituição e revisões de segurança automatizadas.

Outro teste usou o modelo base sob Claude Sonnet 4 com diferentes combinações de RL. Dados básicos de segurança incluíam solicitações prejudiciais e tentativas de jailbreak. A versão mais ampla adicionou definições de ferramentas e diferentes prompts de sistema, mesmo que as ferramentas não fossem necessárias para as tarefas. Essa configuração levou a um pequeno, mas real, ganho nos scores de honeypot.

Não apenas leia notícias de criptomoedas. Entenda-as. Inscreva-se na nossa newsletter. É grátis.