広場
最新
注目
ニュース
プロフィール
ポスト
Grok 4.5がSaaSワークフロー評価でトップに、コストはClaudeの約4分の1
MarsBitNews
2026-07-09 09:06:09
フォロー
概要作成中
动察Beatingの監視によると、独立評価機関Artificial AnalysisがAutomationBench-AAランキングを更新しました。
SpaceXAIのGrok 4.5が51.4%のスコアで首位となり、Claude Fable 5の48.6%とClaude Opus 4.8の48.5%を上回りました。
AutomationBench-AAはZapierのAutomationBenchに基づき、AIエージェントが企業ルールに従って実際のSaaSワークフローを完了できるかをテストします。
テストセットには657のマルチステップタスクが含まれ、Gmail、Google Sheets、Slack、Salesforce、HubSpotを含む40の模擬アプリケーション環境をカバーしています。
採点ルールは厳格です。モデルはタスクを完了するだけでなく、企業が設定したレッドラインに抵触してはなりません。あるタスクが違反をトリガーした場合、そのタスクは0点扱いとなります。
Grok 4.5の元の目標達成率は80%近くで、Claude Fable 5およびClaude Opus 4.8よりも高いです。
レッドラインによる減点を受けた後でも、51.4%でトップに立ち、現在50%を超えるスコアを達成した最初のモデルです。
そのコスト面での優位性はさらに顕著です。Grok 4.5のタスクあたりのコストは0.34ドルで、Claude Fable 5の1.35ドル、Claude Opus 4.8の1.46ドル、GPT-5.5 xhighの1.28ドルを下回っています。
しかし、Grok 4.5は最も安定したモデルではありません。タスクあたり平均0.63回の違反をトリガーし、Claude Opus 4.8の0.55回、Gemini 3.5 Flashの0.46回を上回っています。
原文表示
このページには第三者のコンテンツが含まれている場合があり、情報提供のみを目的としております（表明・保証をするものではありません）。Gateによる見解の支持や、金融・専門的な助言とみなされるべきものではありません。詳細については
免責事項
をご覧ください。
報酬
いいね
コメント
リポスト
共有
コメント
コメントを追加
コメントを追加
コメント
コメントなし
人気の話題
もっと見る
#
GUSDYieldRisesto3.8%
838.22K 人気度
#
PredictWorldCupShare20000U
210.27K 人気度
#
IsraelStrikesIranBTCPlunges
70.43K 人気度
#
USRevokesIranOilWaiver
1.39M 人気度
#
BlueOriginLaunches10BillionFundingRound
945.83K 人気度
ピン留め
サイトマップ
Grok 4.5がSaaSワークフロー評価でトップに、コストはClaudeの約4分の1
SpaceXAIのGrok 4.5が51.4%のスコアで首位となり、Claude Fable 5の48.6%とClaude Opus 4.8の48.5%を上回りました。
AutomationBench-AAはZapierのAutomationBenchに基づき、AIエージェントが企業ルールに従って実際のSaaSワークフローを完了できるかをテストします。
テストセットには657のマルチステップタスクが含まれ、Gmail、Google Sheets、Slack、Salesforce、HubSpotを含む40の模擬アプリケーション環境をカバーしています。
採点ルールは厳格です。モデルはタスクを完了するだけでなく、企業が設定したレッドラインに抵触してはなりません。あるタスクが違反をトリガーした場合、そのタスクは0点扱いとなります。
Grok 4.5の元の目標達成率は80%近くで、Claude Fable 5およびClaude Opus 4.8よりも高いです。
レッドラインによる減点を受けた後でも、51.4%でトップに立ち、現在50%を超えるスコアを達成した最初のモデルです。
そのコスト面での優位性はさらに顕著です。Grok 4.5のタスクあたりのコストは0.34ドルで、Claude Fable 5の1.35ドル、Claude Opus 4.8の1.46ドル、GPT-5.5 xhighの1.28ドルを下回っています。
しかし、Grok 4.5は最も安定したモデルではありません。タスクあたり平均0.63回の違反をトリガーし、Claude Opus 4.8の0.55回、Gemini 3.5 Flashの0.46回を上回っています。