Finalmente alguém trouxe a avaliação de grandes modelos de «corrida de pontuação» de volta para «cenários de trabalho», a abordagem de ponderação O*NET realmente se aproxima mais da lógica real de contratação das empresas.

A CoinWorld News informou que a instituição de avaliação de IA Artificial Analysis lançou o "Índice de Capacidade" para setores e habilidades, usado para avaliar o desempenho de grandes modelos em aplicações reais de negócios. O índice é dividido em Índice de Habilidades e Índice Setorial. O primeiro, como agentes e programação, adota cálculo de média ponderada igual, enquanto o último abrange seis áreas: Finanças e Contabilidade, Direito, Saúde, Estratégia e Operações, Engenharia e Economia. A alocação de pesos do Índice Setorial baseia-se no método de classificação de atividades de trabalho O*NET, para se aproximar das demandas reais de cargos. Cada índice tem seus benchmarks subjacentes executados de forma independente pela Artificial Analysis, e as pontuações são calculadas por meio de combinações ponderadas com base na frequência das tarefas dos cargos, oferecendo uma métrica mais prática para empresas avaliarem grandes modelos em domínios verticais.