D’après un suivi réalisé par Dongcha Beating, les évaluations de modèles d’IA traditionnels s’appuient souvent sur des ensembles de données académiques génériques, ce qui entraîne des écarts entre de bons résultats aux tests et la performance réelle en entreprise. L’agence d’évaluation Artificial Analysis a lancé six indices spécifiques à des secteurs afin d’évaluer la performance métier réelle, en s’appuyant sur les indices généraux de compétences existants en intelligence et en programmation (couvrant la finance, le droit, la santé, les opérations, l’ingénierie et l’économie). Contrairement aux indices de compétences générales, les indices sectoriels sont personnalisés avec des distributions pondérées fondées sur la classification des activités professionnelles O*NET, afin de simuler la fréquence des tâches dans les postes réels. Il fait correspondre les tests de capacité sous-jacents des grands modèles (tels que le raisonnement HLE, le traitement de longs textes LCR, le travail de l’agent GDPval, etc.) avec la base de connaissances spécialisée de chaque secteur (AA-Omniscience). Lors de la phase initiale de test, le modèle à code source fermé Claude Fable 5 a pris la première place sur les huit indices, tandis que le modèle open-source GLM-5.2 a décroché cinq premières places sur six indices sectoriels, obtenant 53 à l’indice d’ingénierie, proche des 55 de Claude Sonnet 5. L’évaluation a aussi mis en évidence un écart de performance important : dans l’indice des opérations, le coût par tâche unique de Claude Fable 5 (3,48 $) est plus de cent fois supérieur à celui de l’open-source DeepSeek V4 Pro (0,03 $) ; dans l’indice juridique, la version d’aperçu de Gemini 3.1 Pro est presque sept fois plus rapide que Claude Fable 5, avec un score seulement 11 points inférieur. Évaluer la performance et le rapport coût-efficacité en fonction de scénarios de tâches devient un nouveau standard pour la sélection d’IA dans les domaines verticaux.

Voir l'original

Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.

Récompense
J'aime
Commentaire
Reposter
Partager

Commentaire

Ajouter un commentaire

Aucun commentaire

Sujets populaires
Afficher plus
#
LABPlunges53PercentInTwoDays
3,07M Popularité
#
IsraelStrikesIranBTCPlunges
71,81K Popularité
#
USIranWarCloudsGather
3,94M Popularité
#
GUSDYieldRisesto3.8%
651,94K Popularité
#
WorldCupChampionPrediction
208,03K Popularité

Épinglé

Révolution dans l’évaluation de l’IA ! Artificial Analysis lance l’Industry Capability Index : Claude Fable 5 domine, GLM-5.2 open source se rapproche de la frontière du closed source

Sujets populaires

LABPlunges53PercentInTwoDays

IsraelStrikesIranBTCPlunges

USIranWarCloudsGather

GUSDYieldRisesto3.8%

WorldCupChampionPrediction

Épinglé