AIMPACT メッセージ、5 月 17 日（UTC+8）、64 位数学者連盟によって作成された新しいAI数学ベンチマークテストSOOHAKがAIモデルの重要な欠陥を明らかにしました。このテストには439の手書き課題が含まれ、そのうち99の課題は意図的に解答不能に設計されています。Google Gemini 3 Proは研究レベルの問題でリードし、30％の正確率を達成しましたが、どのモデルも解答不能な課題を識別することにおいて50％を超えることはできませんでした。研究により、より多くの計算資源はモデルの問題解決能力を向上させることができる一方で、その問題が解答不能であることを認識する能力を高めることはできないことが判明しました。SOOHAKは、AIの少数の顕著な成果と、システムが依然として欠いている広範な研究スキルとのギャップを定量化することを目的としています。
SOOHAKベンチマークはAIモデルの欠陥を明らかにする：解けない数学問題の識別能力は50％を超えていない
AIMPACT メッセージ、5 月 17 日（UTC+8）、64 位数学者連盟によって作成された新しいAI数学ベンチマークテストSOOHAKがAIモデルの重要な欠陥を明らかにしました。このテストには439の手書き課題が含まれ、そのうち99の課題は意図的に解答不能に設計されています。Google Gemini 3 Proは研究レベルの問題でリードし、30％の正確率を達成しましたが、どのモデルも解答不能な課題を識別することにおいて50％を超えることはできませんでした。研究により、より多くの計算資源はモデルの問題解決能力を向上させることができる一方で、その問題が解答不能であることを認識する能力を高めることはできないことが判明しました。SOOHAKは、AIの少数の顕著な成果と、システムが依然として欠いている広範な研究スキルとのギャップを定量化することを目的としています。