🔥Peneliti: Ujian standar AI utama memiliki celah sistemik, data peringkat mungkin sangat menyesatkan


Pada 10 April, peneliti AI Hao Wang merilis penelitian yang mengungkapkan bahwa beberapa ujian standar AI yang berwenang di industri, termasuk SWE-bench Verified dan Terminal-Bench, semuanya memiliki celah yang dapat dieksploitasi secara sistemik—timnya membangun Agen yang, tanpa menyelesaikan tugas nyata apa pun, meraih skor penuh 100% di dua ujian tersebut.
Contoh tipikalnya adalah sebagai berikut: Dalam SWE-bench Verified, menyisipkan 10 baris hook pytest ke dalam repositori kode, sebelum pengujian dijalankan secara otomatis mengubah semua hasil menjadi "Lulus", sistem penilaian sama sekali tidak menyadari, semua 500 soal mendapatkan skor penuh; meskipun Terminal-Bench…
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
  • Hadiah
  • Komentar
  • Posting ulang
  • Bagikan
Komentar
Tambahkan komentar
Tambahkan komentar
Tidak ada komentar
  • Sematkan