Dongcha Beatingによるモニタリングでは、従来のAIモデル評価はしばしば一般的な学術データセットに依存しており、その結果としてテストの高得点と実際のビジネス成果に食い違いが生じることが多い。評価機関Artificial Analysisは、知能とプログラミングの既存の汎用スキル指標（財務、法律、ヘルスケア、業務運用、エンジニアリング、経済を含む）を土台に、実際のビジネス成果を測るための業界別6つの指標を立ち上げた。汎用スキル指標とは異なり、業界指標はO*NETの仕事活動分類に基づく重み付き分布でカスタマイズされており、実際の職務ポジションにおけるタスク頻度をシミュレートしている。大規模モデルの基盤となる能力テスト（HLE推論、LCR長文処理、GDPvalエージェント作業など）を、各業界の専門知識ベース（AA-Omniscience）と結び付けている。初期のテスト段階では、クローズドソースのモデルClaude Fable 5が8つの指標すべてで首位に立ち、一方、オープンソースのGLM-5.2は6つの業界指標のうち5つで1位を獲得した。エンジニアリング指標では53点で、Claude Sonnet 5の55点にかなり近い。また評価では、大きなパフォーマンス差も明らかになった。業務運用指標では、Claude Fable 5の単一タスクあたりコスト（$3.48）は、オープンソースのDeepSeek V4 Pro（$0.03）より100倍以上高い。法律指標では、Gemini 3.1 Proのプレビュー版はClaude Fable 5よりほぼ7倍速く、スコアはたった11点しか下回らない。タスクシナリオに基づいてパフォーマンスとコスト効率を総合的に重み付けすることが、垂直分野におけるAI選定の新たなベンチマークになりつつある。

原文表示

このページには第三者のコンテンツが含まれている場合があり、情報提供のみを目的としております（表明・保証をするものではありません）。Gateによる見解の支持や、金融・専門的な助言とみなされるべきものではありません。詳細については免責事項をご覧ください。

報酬
いいね
コメント
リポスト
共有

コメントを追加

コメントなし

人気の話題
もっと見る
#
LABPlunges53PercentInTwoDays
3.08M 人気度
#
IsraelStrikesIranBTCPlunges
71.83K 人気度
#
USIranWarCloudsGather
3.94M 人気度
#
GUSDYieldRisesto3.8%
652.31K 人気度
#
WorldCupChampionPrediction
209.43K 人気度

ピン留め

サイトマップ

AI評価に革命！Artificial Analysis が業界能力指数を発表：Claude Fable 5 が圧倒、オープンソースのGLM-5.2がクローズドソースのフロンティアに迫る

人気の話題

LABPlunges53PercentInTwoDays

IsraelStrikesIranBTCPlunges

USIranWarCloudsGather

GUSDYieldRisesto3.8%

WorldCupChampionPrediction

ピン留め