Revolução na Avaliação de IA! A Análise Artificial Lança o Índice de Capacidade da Indústria: Claude Fable 5 Domina, o GLM-5.2 de Código Aberto se Aproxima da Fronteira do Código Fechado

De acordo com monitoramento do Dongcha Beating, as avaliações tradicionais de modelos de IA geralmente se baseiam em conjuntos de dados acadêmicos genéricos, levando a discrepâncias entre pontuações altas em testes e desempenho real nos negócios. A agência de avaliação Artificial Analysis lançou seis índices específicos do setor para avaliar o desempenho real nos negócios, com base nos índices de habilidades gerais existentes para inteligência e programação (cobrindo finanças, direito, saúde, operações, engenharia e economia). Diferentemente dos índices de habilidades gerais, os índices setoriais são personalizados com distribuições ponderadas com base na classificação de atividades de trabalho O*NET, simulando a frequência de tarefas em posições reais de trabalho. Ele combina os testes de capacidade subjacente de grandes modelos (como raciocínio HLE, processamento de texto longo LCR, trabalho de agente GDPval, etc.) com a base de conhecimento especializada de cada setor (AA-Omniscience). Na fase inicial de testes, o modelo de código fechado Claude Fable 5 liderou todos os oito índices, enquanto o código aberto GLM-5.2 garantiu cinco primeiros lugares em seis índices setoriais, com pontuação 53 no índice de engenharia, próximo ao 55 do Claude Sonnet 5. A avaliação também revelou uma diferença significativa de desempenho: no índice de operações, o custo por tarefa única do Claude Fable 5 ($3,48) é mais de cem vezes o do código aberto DeepSeek V4 Pro ($0,03); no índice jurídico, a versão de pré-visualização do Gemini 3.1 Pro é quase sete vezes mais rápida que o Claude Fable 5, com uma pontuação apenas 11 pontos menor. Ponderar desempenho e relação custo-benefício com base em cenários de tarefas está se tornando um novo padrão para seleção de IA em campos verticais.
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
  • Recompensa
  • Comentário
  • Repostar
  • Compartilhar
Comentário
Adicionar um comentário
Adicionar um comentário
Sem comentários
  • Fixado