ARC-AGI-3 mengumumkan pengujian manusia terbesar dalam sejarah: semua level telah ditembus manusia, AI masih memiliki kekurangan

Berita ME News, 15 April (UTC+8), menurut pemantauan Beating dari Dongcha, Yayasan ARC Prize mengumumkan dataset kinerja manusia untuk ARC-AGI-3, yang merupakan studi pengujian manusia terbesar dalam seri ARC-AGI hingga saat ini, dengan 458 peserta.
Dataset ini berisi 342 rekaman lengkap replay operasi manusia, mencakup 25 lingkungan publik, dan semuanya telah dirilis secara terbuka.
ARC-AGI-3 mencakup 135 lingkungan inferensi abstrak, di mana penguji tidak menerima petunjuk permainan apa pun, harus mengeksplorasi, menyimpulkan aturan, dan merancang strategi sendiri.
Pengujian dilakukan di pusat pengujian offline di San Francisco, setiap sesi berlangsung selama 90 menit, peserta mendapatkan gaji dasar sekitar 130 dolar AS ditambah 5 dolar AS untuk setiap lingkungan yang berhasil diselesaikan.
Semua pengujian dilakukan dengan kondisi “pertama kali berhasil”, yaitu setiap peserta hanya melihat satu kali dan mencoba satu kali, yang mengukur kemampuan belajar dan beradaptasi terhadap masalah baru.
Manusia dan AI mendapatkan informasi yang sama persis, tanpa adanya perbedaan informasi.
Kesimpulan utama: semua lingkungan dalam ARC-AGI-3 berhasil diselesaikan oleh manusia, setiap lingkungan minimal diselesaikan oleh dua peserta independen, dan sebagian besar lingkungan diselesaikan oleh lebih dari lima orang.
Yayasan ARC Prize menyatakan, “Kami belum mencapai AGI, dan dataset ini adalah buktinya.”
Sejak pratinjau ARC-AGI-3, hampir 1 juta pengajuan evaluasi AI telah diterima untuk lingkungan publik.
Berdasarkan data ini, yayasan juga mengumumkan dua penyesuaian aturan penilaian: pertama, mengubah patokan manusia dari “pemain terbaik kedua” menjadi “pemain median”, untuk mengurangi pengaruh keberuntungan terhadap skor; kedua, meningkatkan batas skor per level dari 100% menjadi 115%, agar performa buruk di satu level tidak merusak skor keseluruhan.
Dampak bersih dari kedua penyesuaian ini adalah skor manusia dan AI masing-masing meningkat sedikit sekitar 0,5 poin persentase.
(Sumber: BlockBeats)