Agente de geração de código por IA no benchmark ReactBench: o GPT-5.6 Sol conquista a liderança com 43,1%, enquanto os grandes modelos mais populares tropeçam repetidamente em “minas” de bugs

A equipe Million, especializada em desenvolver ferramentas relacionadas a React, lançou oficialmente recentemente o “ReactBench v1”. Trata-se do primeiro benchmark voltado para agentes de geração de código com IA (Coding Agents) em tarefas reais de desenvolvimento React. Os resultados dos testes mostram que, mesmo o GPT-5.6 Sol com melhor desempenho, a taxa de sucesso é de apenas 43,1%; todos os modelos avaliados não conseguem superar a marca de 50%, indicando que ainda existe uma distância considerável antes de a IA conseguir substituir completamente os desenvolvedores humanos.
（Contexto: a OpenAI demonstrou a capacidade de multitarefas do GPT-Live: enquanto conversa, ele também consulta voos, clima e preços de ações; os desafios são entregues ao GPT-5.5）
（Complemento de contexto: relatório da Visa: pagamentos com agentes de IA entram na fase prática, e stablecoins são mais adequadas para pagamentos frequentes e de pequeno valor）

Índice deste artigo

Toggle

• Validação rigorosa: não basta rodar; também não pode ter bug
• GPT-5.6 vence por pouco o Claude, e a taxa de sucesso geral fica abaixo de metade
• Custo-benefício é determinante; ainda há riscos ocultos no desenvolvimento com IA

À medida que as capacidades de IA (inteligência artificial) para escrever código se tornam cada vez mais fortes, a garantia da qualidade do que ela produz virou o foco principal de desenvolvedores em todo o mundo. Para o framework front-end React, que é o mais mainstream atualmente, a equipe open source conhecida Million, que já desenvolveu o React Scan e o Million.js, lançou oficialmente recentemente o benchmark “ReactBench v1”. Esse teste é diferente do padrão passado, que apenas pedia que a IA passasse em testes unitários básicos: aqui, a IA é colocada no contexto de projetos reais de código aberto, com uma análise rigorosa de se o código gerado atende às altas exigências do ambiente de produção.

Validação rigorosa: não basta rodar; também não pode ter bug

O ReactBench v1 selecionou 51 tarefas (Pull Requests) de projetos open source reais. O teste se divide principalmente em duas habilidades centrais: “Write React” e “Fix React”. Para evitar que a IA gere um código que pareça viável, mas esconda riscos, o teste introduziu um validador chamado “React Doctor”, com mais de 400 regras de checagem, desenvolvido para identificar renderizações inválidas (Renders), queda de desempenho, falhas em design de acessibilidade (Accessibility) e problemas potenciais de manutenibilidade. A versão oficial destaca que o agente de IA não só precisa concluir as funcionalidades como também não pode introduzir nenhum novo erro no código.

GPT-5.6 vence por pouco o Claude, e a taxa de sucesso geral fica abaixo de metade

De acordo com os resultados médios de aprovação (pass@1) divulgados oficialmente, o desempenho dos modelos de IA de ponta ainda tem muito espaço para evoluir no mercado. O GPT-5.6 Sol (configuração Medium / XHigh) lançado pela OpenAI obteve a primeira colocação com uma pontuação geral de 43,1%; na sequência vem o Claude Fable 5 da Anthropic (XHigh), com 41,2%. A oficial informa que a diferença entre os dois é pequena e, por enquanto, ainda não é possível confirmar que o Sol tenha uma vantagem absoluta.

Vale observar que, mesmo entre os primeiros colocados, a taxa de sucesso de todos os modelos testados fica abaixo de 50%. Os dados mostram que, em 4.455 testes acumulados de desenvolvimento de novas funcionalidades, os modelos, no total, introduziram nada menos que 1.194 problemas relacionados a React. Desses, 77,5% se enquadram em erros graves de código (Bug) ou problemas de segurança; especialmente, é mais provável errar em renderização de listas e na correção das regras de Hooks.

Custo-benefício é determinante; ainda há riscos ocultos no desenvolvimento com IA

Apesar do desempenho dos modelos de topo não deixar dúvidas, há um destaque no quesito custo. O relatório aponta que o GPT-5.6 Terra (Medium) obteve 38,0% de pontuação, apresentando um desempenho bem próximo do nível mais alto. Contudo, na configuração XHigh, o custo por teste único do Fable 5 é cerca de 6,3 vezes o do Sol. Isso sugere que, para empresas que precisam gerar grandes volumes de código, escolher modelos intermediários pode oferecer um excelente custo-benefício.

Atualmente, o React concentra cerca de 70% de participação de mercado em sites que usam frameworks JavaScript. As equipes de desenvolvimento afirmam que, se os desenvolvedores confiarem cegamente no código React gerado por IA, pequenas falhas podem ser amplificadas rapidamente no ambiente de produção, chegando até a causar travamentos do sistema, queda de conversão e perda de receita. O lançamento do ReactBench existe justamente para que desenvolvedores do mundo inteiro tenham mais segurança, garantindo que, no futuro, os agentes de IA consigam realmente escrever código de alta qualidade que seja seguro, compatível e eficiente.