D’après le suivi de Dongcha Beating, les évaluations des modèles d’IA traditionnels s’appuient souvent sur des jeux de données académiques génériques, ce qui entraîne des écarts entre de bons scores aux tests et les performances réelles en entreprise. L’agence d’évaluation Artificial Analysis a lancé six indices spécifiques à l’industrie pour mesurer la performance business réelle, en s’appuyant sur des indices généraux de compétences pour l’intelligence et la programmation (couvrant la finance, le droit, la santé, les opérations, l’ingénierie et l’économie). Contrairement aux indices généraux de compétences, les indices sectoriels sont personnalisés avec des distributions pondérées basées sur la classification des activités professionnelles O*NET, simulant la fréquence des tâches dans de vrais postes. Il fait correspondre les tests de capacité sous-jacents des grands modèles (tels que le raisonnement HLE, le traitement de longs textes LCR, le travail de l’agent GDPval, etc.) avec la base de connaissances spécialisée de chaque secteur (AA-Omniscience). Pendant la phase de tests initiale, le modèle en source fermée Claude Fable 5 a dominé les huit indices, tandis que le modèle open-source GLM-5.2 a décroché cinq premières places sur six indices sectoriels, avec 53 dans l’indice d’ingénierie, à proximité des 55 de Claude Sonnet 5. L’évaluation a aussi révélé un écart de performance significatif : dans l’indice des opérations, le coût par tâche unique de Claude Fable 5 (3,48 $) est supérieur à cent fois celui de DeepSeek V4 Pro open-source (0,03 $) ; dans l’indice juridique, la version d’aperçu de Gemini 3.1 Pro est presque sept fois plus rapide que Claude Fable 5, avec un score seulement 11 points inférieur. Évaluer la performance et le rapport coût-efficacité en fonction des scénarios de tâches devient une nouvelle référence pour la sélection d’IA dans des domaines verticaux.

Voir l'original

Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.

Récompense
J'aime
Commentaire
Reposter
Partager

Commentaire

Ajouter un commentaire

Aucun commentaire

Sujets populaires
Afficher plus
#
PredictWorldCupShare20000U
327,36K Popularité
#
IsraelStrikesIranBTCPlunges
71,16K Popularité
#
USIranWarCloudsGather
4M Popularité
#
GUSDYieldRisesto3.8%
893,81K Popularité
#
WorldCupChampionPrediction
188,54K Popularité

Épinglé

Révolution dans l’évaluation de l’IA ! Artificial Analysis lance l’Industry Capability Index : Claude Fable 5 domine, tandis que GLM-5.2 open source se rapproche de la frontière des systèmes fermés

Sujets populaires

PredictWorldCupShare20000U

IsraelStrikesIranBTCPlunges

USIranWarCloudsGather

GUSDYieldRisesto3.8%

WorldCupChampionPrediction

Épinglé