Dongcha Beatingによるモニタリングによれば、従来のAIモデル評価はしばしば一般的な学術用データセットに依存しており、その結果としてテストの高得点と実際のビジネス成果との間に食い違いが生じがちです。評価機関Artificial Analysisは、知能とプログラミングの既存の一般的スキル指標（金融、法務、医療、運用、エンジニアリング、経済を含む）を土台に、実際のビジネス成果を測るための6つの業界別指数を立ち上げました。一般的スキル指標とは異なり、業界指数はO*NETの仕事活動分類に基づく重み付き分布でカスタマイズされ、実際の職務におけるタスクの頻度をシミュレーションします。さらに、大規模モデル（HLE推論、LCR長文処理、GDPvalエージェント作業など）の基盤となる能力テストを、各業界の専門知識ベース（AA-Omniscience）と突き合わせています。初期のテスト段階では、クローズドソースのモデルClaude Fable 5が8つの指数すべてでトップに立ちました。一方、オープンソースのGLM-5.2は6つの業界指数のうち5つで1位を獲得し、エンジニアリング指数では53を獲得してClaude Sonnet 5の55に近い結果となりました。評価では、重要なパフォーマンス格差も明らかになりました。運用指数では、Claude Fable 5の単一タスクあたりコスト（$3.48）が、オープンソースのDeepSeek V4 Pro（$0.03）の100倍以上です。法務指数では、Gemini 3.1 Proのプレビュー版がClaude Fable 5より約7倍高速で、スコアはわずか11ポイント差にとどまっています。タスクのシナリオに基づいてパフォーマンスと費用対効果を総合的に評価することが、垂直領域におけるAI選定の新たなベンチマークになりつつあります。

原文表示

このページには第三者のコンテンツが含まれている場合があり、情報提供のみを目的としております（表明・保証をするものではありません）。Gateによる見解の支持や、金融・専門的な助言とみなされるべきものではありません。詳細については免責事項をご覧ください。

報酬
いいね
コメント
リポスト
共有

コメントを追加

コメントなし

人気の話題
もっと見る
#
PredictWorldCupShare20000U
327.36K 人気度
#
IsraelStrikesIranBTCPlunges
71.16K 人気度
#
USIranWarCloudsGather
4M 人気度
#
GUSDYieldRisesto3.8%
893.81K 人気度
#
WorldCupChampionPrediction
188.54K 人気度

ピン留め

サイトマップ

AI評価に革命！Artificial Analysisが産業能力指数を発表：Claude Fable 5が圧倒的に優勢、オープンソースのGLM-5.2はクローズドソースの最前線に迫る

人気の話題

PredictWorldCupShare20000U

IsraelStrikesIranBTCPlunges

USIranWarCloudsGather

GUSDYieldRisesto3.8%

WorldCupChampionPrediction

ピン留め