🔥Investigador: Os testes de referência principais de IA apresentam falhas sistemáticas, podendo distorcer gravemente os dados do ranking

A 10 de abril, o investigador de IA Hao Wang publicou uma pesquisa revelando que vários testes de referência de IA reconhecidos na indústria, incluindo SWE-bench Verified e Terminal-Bench, possuem vulnerabilidades exploráveis sistematicamente — a equipe dele construiu um Agente que, sem resolver qualquer tarefa real, obteve uma pontuação máxima de 100% em duas referências.
Exemplo típico: no SWE-bench Verified, inseriu-se um hook pytest de 10 linhas no repositório de código, que, antes da execução do teste, altera automaticamente todos os resultados para "passou", sem que o sistema de avaliação perceba, obtendo pontuação máxima em todas as 500 questões; embora o Terminal-Bench...