Notícias do CoinWorld, a equipe SWE-bench lançou a nova referência ProgramBench, que avalia 9 modelos de IA de ponta na tarefa de reconstrução de software real, com uma taxa de sucesso de 0%.

Essa referência foi publicada pelo time de pesquisa em IA da Meta em parceria com Stanford e Harvard, e a tarefa exige que um agente de IA, apenas com um arquivo binário compilado e documentação de uso, reestruture e implemente toda a base de código do zero, reproduzindo o comportamento do programa original.
A referência inclui 200 tarefas, cobrindo desde ferramentas CLI pequenas até projetos de grande porte, e os resultados dos testes mostram que nenhuma métrica principal de "completamente aprovado" foi atingida, com o modelo Claude Opus 4.7 liderando na métrica auxiliar de "quase aprovado" com 3%, enquanto os demais modelos marcaram 0%.