広場
最新
注目
ニュース
プロフィール
ポスト
AI評価に革命！Artificial Analysisが業界能力指標を発表：Claude Fable 5が支配、オープンソースGLM-5.2がクローズドソースのフロンティアに迫る
AirdropBlackHole
2026-07-07 10:43:10
フォロー
東茶打（Dongcha Beating）の監視によると、従来のAIモデル評価は汎用的な学術データセットに依存することが多く、高いテストスコアと実際のビジネスパフォーマンスの間に乖離が生じている。評価機関Artificial Analysisは、既存の知能とプログラミングに関する一般スキル指標（金融、法律、ヘルスケア、運用、エンジニアリング、経済をカバー）に基づき、実際のビジネスパフォーマンスを評価するための6つの業界固有指標を発表した。一般スキル指標とは異なり、業界指標はO*NETの作業活動分類に基づく重み付け分布でカスタマイズされ、実際の職務におけるタスクの頻度をシミュレートする。これは、大規模モデルの基礎能力テスト（HLE推論、LCR長文処理、GDPvalエージェント作業など）と各業界の専門知識ベース（AA-Omniscience）をマッチングさせる。初期テスト段階では、クローズドソースモデルのClaude Fable 5が全8指標でトップとなり、オープンソースのGLM-5.2は6つの業界指標のうち5つで1位を獲得し、エンジニアリング指標で53点を記録し、Claude Sonnet 5の55点に迫った。評価ではまた、大きなパフォーマンス格差が明らかになった。運用指標では、Claude Fable 5の単一タスクコスト（$3.48）は、オープンソースのDeepSeek V4 Pro（$0.03）の100倍以上である。法律指標では、Gemini 3.1 Proのプレビュー版はClaude Fable 5より約7倍高速で、スコアはわずか11点低い。タスクシナリオに基づいてパフォーマンスと費用対効果を評価することが、垂直分野におけるAI選択の新たな基準となりつつある。
原文表示
このページには第三者のコンテンツが含まれている場合があり、情報提供のみを目的としております（表明・保証をするものではありません）。Gateによる見解の支持や、金融・専門的な助言とみなされるべきものではありません。詳細については
免責事項
をご覧ください。
報酬
いいね
コメント
リポスト
共有
コメント
コメントを追加
コメントを追加
コメント
コメントなし
人気の話題
もっと見る
#
GUSDYieldRisesto3.8%
789.05K 人気度
#
PredictWorldCupShare20000U
235.27K 人気度
#
IsraelStrikesIranBTCPlunges
69.66K 人気度
#
StrategySells3588BTC
7.99M 人気度
#
GTBurns2.57MInQ
118.04K 人気度
ピン留め
サイトマップ
AI評価に革命！Artificial Analysisが業界能力指標を発表：Claude Fable 5が支配、オープンソースGLM-5.2がクローズドソースのフロンティアに迫る