Selon la surveillance de Dongcha Beating, les évaluations traditionnelles des modèles d'IA reposent souvent sur des ensembles de données académiques génériques, ce qui entraîne des écarts entre des scores de test élevés et les performances réelles en entreprise. L'agence d'évaluation Artificial Analysis a lancé six indices spécifiques à des secteurs pour évaluer les performances réelles en entreprise, en s'appuyant sur les indices de compétences générales existants pour l'intelligence et la programmation (couvrant la finance, le droit, la santé, les opérations, l'ingénierie et l'économie). Contrairement aux indices de compétences générales, les indices sectoriels sont personnalisés avec des distributions pondérées basées sur la classification des activités de travail O*NET, simulant la fréquence des tâches dans les postes réels. Ils associent les tests de capacités sous-jacentes des grands modèles (tels que le raisonnement HLE, le traitement de longs textes LCR, le travail d'agent GDPval, etc.) à la base de connaissances spécialisée de chaque secteur (AA-Omniscience). Lors de la phase initiale de test, le modèle closed-source Claude Fable 5 a dominé les huit indices, tandis que le modèle open-source GLM-5.2 a obtenu cinq premières places dans six indices sectoriels, avec un score de 53 dans l'indice d'ingénierie, proche du 55 de Claude Sonnet 5. L'évaluation a également révélé un écart de performance significatif : dans l'indice des opérations, le coût unitaire de Claude Fable 5 (3,48 $) est plus de cent fois supérieur à celui du open-source DeepSeek V4 Pro (0,03 $) ; dans l'indice juridique, la version preview de Gemini 3.1 Pro est près de sept fois plus rapide que Claude Fable 5, avec un score seulement 11 points inférieur. Peser les performances et le rapport coût-efficacité en fonction des scénarios de tâches devient un nouveau critère pour la sélection de l'IA dans les domaines verticaux.

Voir l'original

Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.

Récompense
J'aime
Commentaire
Reposter
Partager

Commentaire

Ajouter un commentaire

Aucun commentaire

Sujets populaires
Afficher plus
#
GUSDYieldRisesto3.8%
790,19K Popularité
#
PredictWorldCupShare20000U
233,61K Popularité
#
IsraelStrikesIranBTCPlunges
69,7K Popularité
#
StrategySells3588BTC
7,99M Popularité
#
GTBurns2.57MInQ
118,56K Popularité

Épinglé

Révolution dans l'évaluation de l'IA ! Artificial Analysis lance l'Indice de capacité industrielle : Claude Fable 5 domine, l'open source GLM-5.2 s'approche de la frontière du closed source

Sujets populaires

GUSDYieldRisesto3.8%

PredictWorldCupShare20000U

IsraelStrikesIranBTCPlunges

StrategySells3588BTC

GTBurns2.57MInQ

Épinglé