秘密のAIベンチマーク（ARC-AGI-X）：暗号市場への影響は限定的

ヘッドライン

ウォートン・ビジネス・スクールの学者イーサン・モリックが「秘密式」ARC-AGI-Xベンチマークを提案し、AIモデルをより公平に評価することを目指す

概要

イーサン・モリック（ウォートン副教授、『Co-Intelligence』の著者、2024年TIME100 AI選出者）がソーシャルメディアで「ARC-AGI-X」ベンチマークのアイデアを提案しました：信頼できる第三者にテストをホスティングさせ、問題と問題の形式は公開せず、ランキングは公開するがテスト内容は秘密にし、モデルがテスト問題に特化して訓練されるのを防ぎます。彼の核心的なアイデアは、評価方法を改善することによって、一般的な知能の進展を真に測定し、規模の積み重ねや「答えを背覚えする」行為を続けないことです。

分析

既存のARC-AGIベンチマークはフランソワ・ショレが2019年に提案したもので、新しいグリッドパズルテストで「流動的知能」を測定します。人間の正確性は85％を超えますが、AIシステム（2026年のARC-AGI-3でさえ）では50％を下回ります。ギャップの理由：

• 公開された問題集が過剰適応を引き起こし、モデルが「問題を解くだけ」で学習しない
• 効率的な推論ではなく、非効率的な総当たり検索に依存している

モリックの考えは「秘密の問題集 + 外部専門家による検証」を使って「試験ポイントを教える」ことを防ぎ、モデルが推論と一般化において本当に進歩するように促すことです。これは古くからの問題に対処しています：公開された問題集はモデルを「強く見せる」ことができますが、必ずしも真に移転可能な能力を持つわけではありません。

2025年のARCプライズの結果もこれを示しています：

• 強化推論ループとテスト時の適応を通じて、スコアが向上しました
• しかし、効率は依然として人間には遠く及ばない
• したがって、ベンチマークは「学習効率と一般化」を重視するべきであり、「記憶と微調整の利益」ではありません

考えられる影響：

• 実験デザイン：OpenAI、Anthropicなどのラボが評価方法を調整し、単純な「スコアを上げる」行為を減らすきっかけになる可能性があります
• 競技とオープンソース：秘密のメカニズムが認められれば、オープンソースエコシステムの比較的有効性が向上し、誤解を招くAGIマイルストーンの誇張を減少させる可能性があります
• 業界コミュニケーション：モリックは学術と産業の間を橋渡しし続け、「実際に使える評価フレームワーク」を主流の議論に持ち込むことを推進しています

重要な情報：

• 核心判断：既存の公開ベンチマークの過剰適応と「スコアを上げる」問題が、モデルの真の推論能力の評価を深刻に歪めている；秘密式評価は助けになる可能性があります
• 市場関連：暗号資産の価格設定と取引感情への最近の影響は弱く、議論はAI評価方法のレベルに留まっています
• 観察ポイント：今後、暗号AIセクターが「秘密式ベンチマーク/ランキング」の言い回しを採用し始めれば、短期的な関心を引き起こす可能性があります

影響評価

• 重要性：高（AI評価方法と業界の発言権に影響を与える）
• カテゴリー：技術的洞察、AI研究、産業動向

結論： 暗号トレーダーや短期資金にとって、このトピックは現在関連性がない；真の受益者はAI評価とモデル能力の検証に集中している研究者です。もしあなたが暗号市場のアクティブなトレーダーなら、今は行動を起こす必要はありません；長期の配置者は受動的に追跡し、「AI評価メカニズムが暗号AIトラックに影響を与える」信号が現れるまで待つべきです。