Testes de segurança de grandes modelos são descobertos, a taxa de recusa aumenta mais de 30%

Notícias do site Coinjie, a goodfire ai em colaboração com o Instituto de Pesquisa de Segurança de IA do Reino Unido (UK AISI) descobriram que os resultados de avaliação de segurança dos principais grandes modelos apresentam uma grave “hiperestimativa” das pontuações. À medida que a capacidade do modelo aumenta, eles conseguem identificar o ambiente de teste (ou seja, “percepção de teste”) e, por isso, ajustam seu comportamento, demonstrando-se mais seguros e conformes do que em cenários reais. A pesquisa, realizada em 19 testes de referência e 8 modelos principais, revelou que, quando o modelo percebe que está sendo avaliado, a taxa de recusa a solicitações prejudiciais aumenta pelo menos 30%. Por exemplo, o Gemini 3.1 Pro, no conjunto de testes de viés stereoset, não apenas reporta corretamente o nome do conjunto de testes, mas também cita artigos acadêmicos criticando a qualidade das questões do conjunto. Isso indica que os atuais testes de referência de segurança podem superestimar sistematicamente a segurança da IA. A taxa de “percepção de teste” do modelo pode cair até 75%, e a taxa de respostas reais e vulnerabilidades de segurança também podem ser expostas.