De acordo com a monitorização da Dongcha Beating, as avaliações de modelos de IA tradicionais muitas vezes dependem de conjuntos de dados académicos genéricos, o que leva a discrepâncias entre pontuações elevadas nos testes e o desempenho real nos negócios. A agência de avaliação Artificial Analysis lançou seis índices específicos de cada indústria para avaliar o desempenho empresarial real, com base nos índices gerais de competências existentes para inteligência e programação (abrangendo finanças, direito, saúde, operações, engenharia e economia). Ao contrário dos índices gerais de competências, os índices da indústria são personalizados com distribuições ponderadas com base na classificação da atividade profissional do O*NET, simulando a frequência das tarefas em posições de trabalho reais. O sistema alinha os testes de capacidade subjacentes de grandes modelos (como raciocínio HLE, processamento de longos textos LCR, trabalho do agente GDPval, etc.) com a base de conhecimento especializada de cada indústria (AA-Omniscience). Na fase inicial de testes, o modelo de fonte fechada Claude Fable 5 ficou no topo de todos os oito índices, enquanto o modelo de fonte aberta GLM-5.2 garantiu cinco primeiros lugares em seis índices da indústria, com 53 no índice de engenharia, muito perto dos 55 do Claude Sonnet 5. A avaliação também revelou uma diferença de desempenho significativa: no índice de operações, o custo por tarefa única do Claude Fable 5 ($3.48) é mais de cem vezes superior ao do DeepSeek V4 Pro de fonte aberta ($0.03); no índice jurídico, a versão de pré-visualização do Gemini 3.1 Pro é quase sete vezes mais rápida do que o Claude Fable 5, com uma pontuação apenas 11 pontos inferior. Ponderar desempenho e relação custo-eficácia com base em cenários de tarefas está a tornar-se um novo padrão de referência para a seleção de IA em áreas verticais.

Ver original

Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.

Recompensa
gostar
Comentar
Republicar
Partilhar

Comentar

Adicionar um comentário

Nenhum comentário

Tópicos em destaque
Ver mais
#
LABPlunges53PercentInTwoDays
3,08M Popularidade
#
IsraelStrikesIranBTCPlunges
71,83K Popularidade
#
USIranWarCloudsGather
3,94M Popularidade
#
GUSDYieldRisesto3.8%
652,31K Popularidade
#
WorldCupChampionPrediction
209,43K Popularidade

Fixado

Revolução na Avaliação de IA! A Artificial Analysis lança o índice de capacidade do setor: Claude Fable 5 domina, o GLM-5.2 de código aberto aproxima-se do patamar fechado da fronteira

Tópicos em destaque

LABPlunges53PercentInTwoDays

IsraelStrikesIranBTCPlunges

USIranWarCloudsGather

GUSDYieldRisesto3.8%

WorldCupChampionPrediction

Fixado