Finalmente alguém trouxe a avaliação de grandes modelos de volta do «concurso de pontuação» para o «cenário de trabalho», a ideia de ponderação O*NET está realmente mais próxima da lógica real de contratação das empresas.

Notícias da B World: A organização de avaliação de IA Artificial Analysis lançou o «Índice de Capacidade» para setores e competências, para avaliar o desempenho de grandes modelos em aplicações empresariais reais. O índice divide-se em Índice de Competências e Índice Setorial: o primeiro utiliza uma média ponderada igual para competências como agentes inteligentes e programação, enquanto o segundo abrange seis áreas — Finanças e Contabilidade, Direito, Saúde, Estratégia e Operações, Engenharia e Economia. A distribuição de pesos do Índice Setorial baseia-se na classificação de atividades laborais O*NET, aproximando-se das exigências reais dos cargos. Cada índice tem os seus testes de referência subjacentes executados de forma independente pela Artificial Analysis, e as pontuações são combinadas com ponderação com base na frequência de tarefas de cada cargo, fornecendo às empresas uma métrica mais prática para avaliar grandes modelos verticais.