Pengujian dasar SOOHAK mengungkapkan kekurangan model AI: kemampuan mengenali masalah matematika tanpa solusi tidak pernah melebihi 50%

AIMPACT Pesan, 17 Mei (UTC+8), benchmark AI matematika baru yang dibuat oleh Aliansi Matematikawan 64-bit, SOOHAK, mengungkapkan kekurangan utama model AI. Tes ini mencakup 439 tugas tulisan tangan, di mana 99 tugas dirancang secara sengaja tanpa solusi. Google Gemini 3 Pro unggul dalam masalah tingkat penelitian, mencapai akurasi 30%, tetapi tidak ada model yang mampu mengenali tugas tanpa solusi lebih dari 50%. Penelitian menunjukkan bahwa lebih banyak sumber daya komputasi dapat meningkatkan kemampuan model dalam memecahkan masalah, tetapi tidak dapat meningkatkan kemampuannya dalam mengakui bahwa masalah tersebut tidak memiliki solusi. SOOHAK bertujuan untuk mengukur kesenjangan antara pencapaian menonjol AI yang sedikit dan keterampilan penelitian luas yang masih kurang dalam sistem.