Revolução na Avaliação de IA! A Análise Artificial Lança o Índice de Capacidade da Indústria: Claude Fable 5 Domina, Open Source GLM-5.2 Aproxima-se da Fronteira do Código Fechado

De acordo com a monitorização da Dongcha Beating, as avaliações tradicionais de modelos de IA recorrem frequentemente a conjuntos de dados académicos genéricos, resultando em discrepâncias entre pontuações altas em testes e o desempenho real nos negócios. A agência de avaliação Artificial Analysis lançou seis índices específicos da indústria para avaliar o desempenho real nos negócios, com base nos índices de competências gerais existentes para inteligência e programação (abrangendo finanças, direito, saúde, operações, engenharia e economia). Ao contrário dos índices de competências gerais, os índices da indústria são personalizados com distribuições ponderadas com base na classificação de atividades de trabalho O*NET, simulando a frequência de tarefas em cargos reais. Isto corresponde aos testes de capacidade subjacentes dos grandes modelos (como raciocínio HLE, processamento de texto longo LCR, trabalho de agente GDPval, etc.) com a base de conhecimento especializada de cada indústria (AA-Omniscience). Na fase inicial de testes, o modelo de código fechado Claude Fable 5 liderou todos os oito índices, enquanto o modelo de código aberto GLM-5.2 garantiu cinco primeiros lugares em seis índices da indústria, obtendo 53 no índice de engenharia, próximo dos 55 do Claude Sonnet 5. A avaliação também revelou uma diferença significativa de desempenho: no índice de operações, o custo de tarefa única do Claude Fable 5 ($3.48) é mais de cem vezes superior ao do modelo de código aberto DeepSeek V4 Pro ($0.03); no índice jurídico, a versão de pré-visualização do Gemini 3.1 Pro é quase sete vezes mais rápida que o Claude Fable 5, com uma pontuação apenas 11 pontos inferior. Ponderar o desempenho e a relação custo-eficácia com base em cenários de tarefas está a tornar-se um novo padrão para a seleção de IA em campos verticais.
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
  • Recompensa
  • Comentar
  • Republicar
  • Partilhar
Comentar
Adicionar um comentário
Adicionar um comentário
Nenhum comentário
  • Fixado