Revolução na Avaliação de IA! Artificial Analysis lança o Índice de Capacidade da Indústria: Claude Fable 5 domina, Open Source GLM-5.2 aproxima-se da fronteira do código fechado

robot
Geração de resumo em curso
De acordo com o acompanhamento do Dongcha Beating, as avaliações de modelos tradicionais de IA frequentemente dependem de conjuntos de dados académicos genéricos, o que leva a discrepâncias entre pontuações de testes elevadas e desempenho real no negócio. A agência de avaliação Artificial Analysis lançou seis índices específicos por indústria para avaliar o desempenho empresarial real, construindo sobre os índices gerais de competências para inteligência e programação (cobrindo finanças, direito, saúde, operações, engenharia e economia). Ao contrário dos índices gerais de competências, os índices por indústria são personalizados com distribuições ponderadas com base na classificação da atividade de trabalho do O*NET, simulando a frequência de tarefas em posições profissionais reais. Isto corresponde aos testes de capacidade subjacentes de grandes modelos (como HLE reasoning, LCR processamento de texto longo, GDPval agent work, etc.) com a base de conhecimento especializada de cada indústria (AA-Omniscience). Na fase inicial de testes, o modelo de código fechado Claude Fable 5 ficou em primeiro lugar em todos os oito índices, enquanto o GLM-5.2 de código aberto garantiu cinco primeiras posições em seis índices da indústria, com uma pontuação de 53 no índice de engenharia, próxima dos 55 do Claude Sonnet 5. A avaliação também revelou uma diferença de desempenho significativa: no índice de operações, o custo por tarefa única do Claude Fable 5 ($3.48) é mais de cem vezes superior ao do DeepSeek V4 Pro de código aberto ($0.03); no índice de direito, a versão preview do Gemini 3.1 Pro é quase sete vezes mais rápida do que o Claude Fable 5, com uma pontuação apenas 11 pontos inferior. Ponderar desempenho e custo-efetividade com base em cenários de tarefas está a tornar-se um novo referencial para a seleção de IA em áreas verticais.
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
  • Recompensa
  • Comentar
  • Republicar
  • Partilhar
Comentar
Adicionar um comentário
Adicionar um comentário
Nenhum comentário
  • Fixado