Teste dedicado ao React: GPT-5.6 Sol em primeiro lugar, mas a melhor pontuação foi apenas 43,1%

robot
Geração de resumo em curso
Segundo o acompanhamento do Beating Monitor, a equipa Million, especializada em ferramentas de desenvolvimento React, lançou o ReactBench v1, testando se os agentes de programação por IA conseguem concluir tarefas reais de desenvolvimento React e evitar a introdução de novos problemas de código.

O React é uma biblioteca JavaScript de referência para construir sites e interfaces de aplicações. A Million desenvolveu anteriormente ferramentas open source como React Scan, React Doctor e Million.js.

O ReactBench seleciona 51 tarefas reais a partir de projetos open source. Para além de verificar se as funcionalidades conseguem ser executadas, também utiliza mais de 400 regras para identificar problemas de erros de programa, desempenho, acessibilidade e qualidade do código.

O GPT-5.6 Sol ficou em primeiro lugar com 43,1% de pontuação global, seguido pelo Fable 5 com 41,2%. A equipa oficial afirma que a diferença entre os dois é pequena, pelo que, por agora, não é possível confirmar se o Sol é claramente mais forte. Com configurações XHigh semelhantes, o custo de teste por uma única vez do Fable 5 é cerca de 6,3 vezes o do Sol.

Mesmo na configuração com melhor desempenho, as tarefas concluídas com sucesso representam menos de metade. Nos testes de desenvolvimento de novas funcionalidades (4455 no total), os vários modelos introduziram 1194 problemas em React, dos quais 77,5% correspondem a erros de programação ou questões de segurança.
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
  • Recompensa
  • Comentar
  • Republicar
  • Partilhar
Comentar
Adicionar um comentário
Adicionar um comentário
Nenhum comentário
  • Fixado