Enfin, quelqu'un a ramené l'évaluation des grands modèles de la « compétition de scores » à la « scène de travail », l'idée de pondération O*NET est effectivement plus proche de la logique réelle de recrutement des entreprises.

🎯 Message de Biquan.com : L'organisme d'évaluation AI, Artificial Analysis, a lancé un « indice de compétence » sectoriel et par compétence, destiné à évaluer les performances des grands modèles dans des applications métiers réelles. Cet indice se divise en indice de compétence et indice sectoriel. Le premier, pour des domaines tels que les agents intelligents et la programmation, adopte une moyenne pondérée égale pour le calcul des scores. Le second couvre six secteurs : finance et comptabilité, droit, santé, stratégie et opérations, ingénierie, et économie. La répartition des pondérations de l'indice sectoriel s'inspire de la classification des activités professionnelles O*NET, afin de se rapprocher des besoins réels des postes. Chaque indice repose sur des tests de référence sous-jacents menés indépendamment par Artificial Analysis, et les scores sont pondérés et combinés en fonction de la fréquence des tâches des postes, offrant ainsi aux entreprises un étalon plus pratique pour évaluer les grands modèles dans des domaines verticaux.