Agente de geração de código de IA avaliado pelo ReactBench: o GPT-5.6 Sol conquista o 1.º lugar com 43,1%, enquanto os principais modelos de linguagem tropeçam em minas terrestres de bugs

A equipa Million, especializada no desenvolvimento de ferramentas relacionadas com React, lançou oficialmente recentemente o «ReactBench v1». Trata-se do primeiro teste de referência (benchmark) especificamente concebido para agentes de geração de código por IA (Coding Agents) em tarefas reais de desenvolvimento React. Os resultados dos testes mostram que mesmo o GPT-5.6 Sol, que apresenta melhor desempenho, tem apenas 43,1% de taxa de sucesso; todos os modelos avaliados não conseguem ultrapassar a barreira dos 50%, evidenciando que ainda existe uma diferença significativa entre a IA atual e a substituição perfeita dos programadores humanos.
(Antecedentes: A OpenAI demonstrou as capacidades multitarefa do GPT-Live: enquanto conversa, consulta voos, clima e preços das acções; problemas difíceis são entregues ao GPT-5.5.)
(Apêndice de contexto: Relatório da Visa: os pagamentos via agentes de IA entram na fase prática; as stablecoins são mais adequadas para pagamentos frequentes e de pequeno valor)

Índice do artigo

Toggle

• Validação rigorosa: não só tem de funcionar, como também não pode ter bugs
• GPT-5.6 ganha por pouco a Claude; a taxa global de sucesso fica abaixo de metade
• O custo-benefício é crucial; a assistência por IA no desenvolvimento ainda tem riscos latentes

À medida que as capacidades de a inteligência artificial (IA) escrever código se tornam cada vez mais poderosas, garantir a qualidade do que produz tornou-se um foco de atenção no mundo global do desenvolvimento. Para o framework front-end mais popular até ao momento, React, a equipa de código aberto conhecida por ter criado o React Scan e o Million.js, a Million, lançou oficialmente recentemente o benchmark «ReactBench v1». Este teste difere do padrão anterior de apenas exigir que a IA passe testes unitários básicos: em vez disso, coloca a IA num cenário real de projecto open source, avaliando rigorosamente se o código gerado cumpre exigências elevadas do ambiente de produção.

Validação rigorosa: não só tem de funcionar, como também não pode ter bugs

O ReactBench v1 selecciona 51 tarefas (Pull Requests) provenientes de projectos open source reais. O teste divide-se principalmente em duas capacidades centrais: «Escrever (Write React)» e «Corrigir (Fix React)». Para evitar que a IA gere código aparentemente viável mas com perigos escondidos, o teste introduziu um validador «React Doctor» com mais de 400 regras de verificação, concebido para identificar renders inválidos, desempenho fraco, falhas em design de acessibilidade (Accessibility) e problemas potenciais de manutenibilidade. A equipa oficial sublinha que o agente de IA não só tem de completar as funcionalidades, como também não pode introduzir quaisquer novos erros de código.

GPT-5.6 ganha por pouco a Claude; a taxa global de sucesso fica abaixo de metade

De acordo com as taxas médias de aprovação (pass@1) divulgadas oficialmente, o desempenho dos principais modelos de IA no mercado ainda tem espaço para melhorias significativas. O GPT-5.6 Sol (configuração Medium / XHigh), da OpenAI, fica em primeiro lugar com uma pontuação global de 43,1%; logo a seguir está a Claude Fable 5 (XHigh) da Anthropic, com 41,2%. A equipa oficial indica que a diferença entre ambos é pequena, pelo que ainda não é possível confirmar que o Sol tenha uma vantagem absoluta.

O que merece destaque é que, mesmo entre os melhores colocados, a taxa de sucesso de todos os modelos avaliados fica abaixo dos 50%. Os dados mostram que, num total de 4.455 testes de desenvolvimento de novas funcionalidades acumulados, os modelos introduziram no conjunto até 1.194 problemas relacionados com React; destes, 77,5% correspondem a erros graves de programação (Bug) ou problemas de segurança. Em particular, a correcção da renderização de listas e das regras dos Hooks é onde mais facilmente falham.

O custo-benefício é crucial; a assistência por IA no desenvolvimento ainda tem riscos latentes

Embora os modelos de topo apresentem um desempenho sólido, há um ponto positivo do ponto de vista dos custos. O relatório refere que o GPT-5.6 Terra (Medium) atinge uma pontuação de 38,0%, um desempenho bastante próximo do nível do topo. No entanto, na configuração XHigh, o custo de um único teste da Fable 5 é cerca de 6,3 vezes o do Sol. Isto sugere que, para empresas que precisam de gerar grandes quantidades de código, escolher um modelo intermédio pode representar uma excelente relação custo-benefício.

Atualmente, o React representa cerca de 70% da quota de mercado dos sítios web que utilizam frameworks JavaScript. As equipas de desenvolvimento afirmam que, se os programadores acreditarem cegamente no código React gerado por IA, pequenas falhas são facilmente amplificadas no ambiente de produção, chegando até a provocar falhas do sistema, quedas nas taxas de conversão e perdas de receita. O lançamento do ReactBench existe precisamente para garantir, para programadores em todo o mundo, que os futuros agentes de IA consigam realmente escrever código seguro, em conformidade e eficiente de elevada qualidade.