Teste específico de React: GPT-5.6 ficou em 1º no Sol, mas o melhor resultado foi apenas 43,1%

robot
Geração do resumo em andamento
De acordo com o monitoramento Beating, a equipe Million, especializada em ferramentas de desenvolvimento React, lançou o ReactBench v1. O teste avalia se os agentes de programação com IA conseguem concluir tarefas reais de desenvolvimento em React e evitar a introdução de novos problemas no código.

O React é uma biblioteca JavaScript amplamente usada para construir interfaces de sites e apps. Anteriormente, a Million desenvolveu ferramentas de código aberto como React Scan, React Doctor e Million.js.

O ReactBench selecionou 51 tarefas reais a partir de projetos open source. Além de verificar se as funcionalidades conseguem rodar, ele também usa mais de 400 regras para identificar problemas de erros no programa, desempenho, acessibilidade e qualidade do código.

O GPT-5.6 Sol ficou em primeiro lugar com 43,1% na pontuação geral, seguido pelo Fable 5 com 41,2%. A equipe oficial afirma que a diferença entre os dois é pequena, e por enquanto não é possível confirmar se o Sol é claramente mais forte. Com a mesma configuração XHigh, o custo de teste único do Fable 5 é de cerca de 6,3 vezes o do Sol.

Mesmo na configuração com melhor desempenho, as tarefas concluídas com sucesso não passam de metade. Em 4.455 testes de desenvolvimento de novas funcionalidades, os modelos, no total, introduziram 1.194 problemas em React, sendo 77,5% deles erros de programa ou questões de segurança.
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
  • Recompensa
  • Comentário
  • Repostar
  • Compartilhar
Comentário
Adicionar um comentário
Adicionar um comentário
Sem comentários
  • Fixado