SOOHAK基準測試揭示AI模型缺陷:識別無解數學問題能力均未超過50%

robot
摘要生成中
AIMPACT 消息,5 月 17 日(UTC+8),由64位數學家聯盟創建的新型AI數學基準測試SOOHAK揭示AI模型關鍵缺陷。該測試包含439個手寫任務,其中99個任務被故意設計為無解。Google Gemini 3 Pro在研究級問題上領先,達30%準確率,但沒有任何模型能在識別無解任務上超過50%。研究發現,更多計算資源可提升模型解決問題能力,卻無法增強其承認問題無解的能力。SOOHAK旨在量化AI少數亮眼成果與系統仍缺乏的廣泛研究技能之間的差距。
查看原文
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 打賞
  • 回覆
  • 轉發
  • 分享
回覆
請輸入回覆內容
請輸入回覆內容
暫無回覆