Revolução na avaliação de IA! Artificial Analysis lança o Industry Capability Index: Claude Fable 5 domina, GLM-5.2 de código aberto se aproxima da fronteira de código fechado

robot
Geração do resumo em andamento
De acordo com monitoramento do Dongcha Beating, as avaliações de modelos tradicionais de IA muitas vezes se baseiam em conjuntos de dados acadêmicos genéricos, o que leva a discrepâncias entre altas pontuações nos testes e o desempenho real no mundo dos negócios. A agência de avaliação Artificial Analysis lançou seis índices específicos do setor para avaliar o desempenho empresarial real, com base em índices gerais de habilidades de inteligência e programação existentes (cobrindo finanças, direito, saúde, operações, engenharia e economia). Diferentemente dos índices gerais de habilidades, os índices do setor são personalizados com distribuições ponderadas baseadas na classificação de atividades de trabalho do O*NET, simulando a frequência de tarefas em cargos reais. Ele faz o pareamento dos testes de capacidade subjacentes de modelos grandes (como raciocínio HLE, processamento de texto longo LCR, trabalho do agente GDPval, etc.) com a base de conhecimento especializada de cada setor (AA-Omniscience). Na fase inicial de testes, o modelo de código fechado Claude Fable 5 liderou todos os oito índices, enquanto o GLM-5.2 de código aberto garantiu cinco primeiros lugares em seis índices do setor, obtendo 53 no índice de engenharia, próximo dos 55 do Claude Sonnet 5. A avaliação também revelou uma diferença de desempenho significativa: no índice de operações, o custo de tarefa única do Claude Fable 5 ($3,48) é mais de cem vezes o do DeepSeek V4 Pro de código aberto ($0,03); no índice jurídico, a versão de prévia do Gemini 3.1 Pro é quase sete vezes mais rápido do que o Claude Fable 5, com uma pontuação apenas 11 pontos menor. Considerar desempenho e custo-benefício com base em cenários de tarefas está se tornando um novo padrão para a seleção de IA em áreas verticais.
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
  • Recompensa
  • Comentário
  • Repostar
  • Compartilhar
Comentário
Adicionar um comentário
Adicionar um comentário
Sem comentários
  • Fixado