Peneliti: semua benchmark AI arus utama bisa dimanipulasi untuk menaikkan peringkat, dan model-model teratas bahkan secara sukarela mengakali agar lolos dari penilaian
Penelitian menunjukkan bahwa beberapa tolok ukur AI berwibawa memiliki celah keamanan, yang dapat dimanfaatkan secara sistematis untuk memperoleh skor tinggi. Tim peneliti mengungkap kekurangan struktural dan mengembangkan alat pemindai WEASEL untuk mengidentifikasi serta memperbaiki celah-celah tersebut, dengan menunjukkan bahwa desain evaluasi yang tidak tepat dapat menyebabkan hasil menjadi tidak akurat dan memengaruhi penilaian kemampuan AI yang sebenarnya.
MarketWhisper·04-10 02:20
