動察 Beating のモニタリングによると、AI 評価機関 Vals AI が Muse Spark 1.1 のスコアを発表した。モデルは医療文書、税務QA、法律エージェントの3つの評価で1位となり、スコアはそれぞれ 88.89%、79.72%、20.00% だった。
税務評価 TaxEval v2 では、Fable 5、Opus 4.8、GPT-5.5 を上回った。この評価には1200問以上の未公開テスト問題が含まれており、回答だけでなく推論プロセスもチェックされる。トップモデルの差は小さく、上位10位の差は3%未満だった。
法律エージェント評価では、Muse Spark 1.1 のスコアは20.00%で、Grok 4.5 の12.92%、Fable 5 の11.25%を超えた。テストでは、モデルが文書、表、ファイルツールを使用して実際の法律業務を完了することが求められた。
ウェブアプリケーションプログラミング評価では、スコアは72.16%で、GPT-5.5、Grok 4.5、GPT-5.4 を上回ったが、Fable 5 や複数の Claude モデルには及ばなかった。
262.22K 人気度
70.62K 人気度
3.9M 人気度
500.35K 人気度
151.76K 人気度
Meta新モデルが3つのランキングで首位を独占、法律エージェントがGrok 4.5を逆転
動察 Beating のモニタリングによると、AI 評価機関 Vals AI が Muse Spark 1.1 のスコアを発表した。モデルは医療文書、税務QA、法律エージェントの3つの評価で1位となり、スコアはそれぞれ 88.89%、79.72%、20.00% だった。
税務評価 TaxEval v2 では、Fable 5、Opus 4.8、GPT-5.5 を上回った。この評価には1200問以上の未公開テスト問題が含まれており、回答だけでなく推論プロセスもチェックされる。トップモデルの差は小さく、上位10位の差は3%未満だった。
法律エージェント評価では、Muse Spark 1.1 のスコアは20.00%で、Grok 4.5 の12.92%、Fable 5 の11.25%を超えた。テストでは、モデルが文書、表、ファイルツールを使用して実際の法律業務を完了することが求められた。
ウェブアプリケーションプログラミング評価では、スコアは72.16%で、GPT-5.5、Grok 4.5、GPT-5.4 を上回ったが、Fable 5 や複数の Claude モデルには及ばなかった。