SOOHAK benchmark revela falhas nos modelos de IA: capacidade de identificar problemas matemáticos sem solução não ultrapassa 50%

robot
Geração do resumo em andamento
AIMPACT mensagem, 17 de maio (UTC+8), o novo teste de referência matemática de IA SOOHAK, criado pela aliança de matemáticos de 64 bits, revelou falhas críticas nos modelos de IA.
O teste inclui 439 tarefas manuscritas, das quais 99 foram deliberadamente projetadas sem solução.
O Google Gemini 3 Pro lidera em questões de nível de pesquisa, alcançando 30% de precisão, mas nenhum modelo consegue superar 50% na identificação de tarefas sem solução.
Descobriu-se que mais recursos computacionais podem melhorar a capacidade do modelo de resolver problemas, mas não aumentam sua habilidade de reconhecer problemas sem solução.
SOOHAK visa quantificar a disparidade entre os poucos resultados notáveis de IA e as habilidades de pesquisa ainda ausentes no sistema.
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
  • Recompensa
  • Comentário
  • Repostar
  • Compartilhar
Comentário
Adicionar um comentário
Adicionar um comentário
Sem comentários
  • Fixado