A OpenAI treinou uma IA para atacar seus próprios modelos, com taxa de sucesso de 84%, muito acima da dos humanos

robot
Geração do resumo em andamento
De acordo com monitoramento da Beating, a OpenAI publicou o modelo de red teaming automatizado GPT-Red. Ele usa um design de prompts para ataques de injeção via prompt, aprendendo por meio de autojogo, e então usa as falhas encontradas para treinar o GPT-5,6. O GPT-Red é apenas para uso interno e não será aberto ao público.

Em um conjunto de cenários novos que não participaram do treinamento, a taxa de sucesso do GPT-Red ao atacar o GPT-5,1 chegou a 84%, enquanto os red teams humanos tiveram apenas 13%. Ele também invadiu o agente de uma máquina de vendas automática, fazendo os produtos reduzirem os preços e cancelando pedidos de outras pessoas. Ao testar o Codex CLI, ele também conseguiu induzir o agente a vazar dados sensíveis.

Após o treinamento adversarial, o GPT-5,6 Sol enfrentando o GPT-Red com injeção de prompt direta teve a taxa de sucesso do ataque reduzida para 0,05%.
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
  • Recompensa
  • Comentário
  • Repostar
  • Compartilhar
Comentário
Adicionar um comentário
Adicionar um comentário
Sem comentários
  • Fixado