Revolução na avaliação de IA! Artificial Analysis lança o Industry Capability Index: Claude Fable 5 domina, o Open Source GLM-5.2 se aproxima da fronteira do código fechado

robot
Geração do resumo em andamento
De acordo com monitoramento da Dongcha Beating, avaliações de modelos tradicionais de IA muitas vezes se baseiam em conjuntos de dados acadêmicos genéricos, levando a discrepâncias entre altas pontuações em testes e desempenho real no mundo dos negócios. A agência de avaliação Artificial Analysis lançou seis índices específicos de indústrias para medir desempenho empresarial de verdade, construindo sobre os índices gerais de habilidades para inteligência e programação existentes (cobrindo finanças, direito, saúde, operações, engenharia e economia). Diferentemente dos índices gerais de habilidades, os índices por indústria são personalizados com distribuições ponderadas com base na classificação de atividades de trabalho do O*NET, simulando a frequência de tarefas em cargos reais. Ele faz o pareamento dos testes de capacidade subjacentes de grandes modelos (como raciocínio HLE, processamento de texto longo LCR, trabalho do agente GDPval, etc.) com a base de conhecimento especializada de cada setor (AA-Omniscience). Na fase inicial de testes, o modelo de código fechado Claude Fable 5 ficou em primeiro lugar em todos os oito índices, enquanto o GLM-5.2 de código aberto garantiu cinco primeiros lugares em seis índices de indústria, com pontuação 53 no índice de engenharia, perto dos 55 do Claude Sonnet 5. A avaliação também revelou uma grande diferença de desempenho: no índice de operações, o custo de tarefa única do Claude Fable 5 ($3,48) é mais de cem vezes maior do que o do DeepSeek V4 Pro de código aberto ($0,03); no índice de direito, a versão preview do Gemini 3.1 Pro é quase sete vezes mais rápido que o Claude Fable 5, com uma pontuação apenas 11 pontos menor. Considerar desempenho e custo-benefício com base em cenários de tarefas está se tornando um novo padrão de referência para seleção de IA em áreas verticais.
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
  • Recompensa
  • Comentário
  • Repostar
  • Compartilhar
Comentário
Adicionar um comentário
Adicionar um comentário
Sem comentários
  • Fixado