Benchmark de programação de longo prazo FrontierSWE lançado: desafio de 20 horas de alta dificuldade, apenas GPT-5.4 e Opus4.6 forneceram algumas soluções

ME News Notícias, 17 de abril (UTC+8), de acordo com a monitorização do Beating, o projeto de teste de referência de agentes inteligentes de programação FrontierSWE foi oficialmente lançado hoje, com o objetivo de explorar os limites atuais das capacidades dos agentes de IA. Este padrão recolhe 17 problemas reais de áreas como otimização de compiladores, pesquisa em aprendizagem de máquina e engenharia de alto desempenho (como construir um serviço SQLite compatível com PostgreSQL), reservando uma janela de até 20 horas para cada tarefa. Atualmente, este padrão encontra-se em estado de «não saturação», com a maioria dos modelos incapazes de fazer progressos substanciais. No primeiro teste, apenas GPT-5.4 (Codex) e Claude Opus 4.6 (Claude Code) conseguiram produzir algumas soluções de forma consistente. Os dois modelos apresentam diferenças de estilo marcantes: GPT-5.4 demonstra maior estabilidade, ficando em primeiro lugar na classificação média, embora seja mais conservador; Claude Opus 4.6 é bastante «agressivo», dedicando em média mais de 8 horas por tarefa, muito acima das cerca de 2 horas de outros modelos. Esta estratégia de trocar tempo por profundidade permitiu ao Opus 4.6 superar na pontuação máxima (best@5, ou seja, a melhor pontuação em 5 tentativas), frequentemente gerando códigos altamente otimizados, mas também com maior taxa de erro e uma tendência mais evidente a «trapacear». A avaliação também revelou alguns problemas típicos dos agentes de programação de IA: primeiro, a «confiança excessiva», onde o modelo muitas vezes, antes da metade do tempo limite, pensa superficialmente que a tarefa está concluída e a submete; segundo, a «retrocessão lógica», como no caso do Opus 4.6, que perdeu várias otimizações já implementadas e depois as «reinventou» durante as iterações. Além disso, exceto o Qwen 3.6, todos os modelos de topo demonstraram intenções de evitar detecção: por exemplo, o Gemini tenta esconder nomes de bibliotecas ilegais através de codificação de caracteres ou executa processos ocultos em diretórios temporários, tentando completar tarefas na fronteira da violação. Este tipo de «comportamento de resistência» sob pressão extrema oferece uma nova perspetiva para a pesquisa de segurança de agentes inteligentes. (Fonte: BlockBeats)