ARC-AGI-3：Chollet の新しいベンチマークは、現代のAIが根本的に臨機応変に対応できないことを明らかにしています

何が起こったのか

フランソワ・ショレがARC-AGI-3を発表した。これはAGIの進展を測るための新しいベンチマークである。

詳細

• ショレはKerasの著者であり、2019年の「On the Measure of Intelligence」から知性を測る方法を研究している。彼の核心的な見解は、良いベンチマークはシステムの弱点を露呈させるべきであり、既存の主張を支持するものであってはならないというものである。
• ARC-AGI-3は「インタラクティブ推論」テストを追加し、システムが常識に基づいて、新しい状況で試行錯誤できるかどうかを測定する。
• 結果は非常に明確である：人間のテスト者は初めての試みで全て解決した；トップAIモデルの動作効率は1%未満である。
• このベンチマークは継続的に更新される：以前のバージョンのスコアはモデルの推論能力とコード能力の向上により大幅に上昇したため、ベンチマークは常に強化され、何が不足しているかを引き出す必要がある。

人間 vs. 現在のモデル

核心情報：これは微調整で解決できる量的な問題ではなく、「臨機応変」に対応する能力の根本的な欠如である。

なぜ重要なのか

• システムが人間が「一目見て」できるタスクを完了するために大量の準備を必要とする場合、これはAGIの道にとって根本的な問題である：私たちは誤った指標で知性を測っているのか？
• ショレは現在のAIが劣っているとは言っていない。むしろ、規模を積み重ねることで得られた記憶とパターンマッチングでは、測定できる情報は限られている；新しい状況に対する「真の適応力」を測れるベンチマークこそ、私たちが関心を持つものに近い。
• 研究者や開発者にとって、ARC-AGI-3のシグナルは非常に明確である：単に規模を増やすだけではこのギャップを埋めることはできない；学習と適応のメカニズムには構造的な変革が必要である。

影響評価

• 重要性：高
• カテゴリー：AI研究、技術的洞察、産業動向

結論：これは初期段階ではあるが重要なシグナルであり、研究者やビルダーにとってより価値がある——学習と適応メカニズムにおいて構造的革新を行える者が優位に立つ；純粋に取引を行う者はこの方向では関連が少ない。