Ilmuwan Stanford Menjelajahi Potensi dan Batasan AI dalam Mendukung Penelitian Ilmiah dan Peninjauan Sejawat

Pesan Berita ME: pada 1 April (UTC+8), James Zou, seorang ilmuwan komputer dari Stanford University, baru-baru ini mengeksplorasi penerapan large language model dalam membantu rekan ilmuwan melakukan peninjauan sejawat dan mempercepat proses riset. Ia terlibat dalam sebuah eksperimen acak berskala besar yang melibatkan sekitar 20.000 berkas peninjauan untuk menilai pengaruh bantuan AI terhadap kualitas peninjauan. Penelitian menemukan bahwa AI unggul dalam menemukan kesalahan atau ketidakkonsistenan yang objektif dan dapat diverifikasi (misalnya data tidak sesuai, kesalahan rumus), tetapi memiliki keterbatasan dalam menilai pertimbangan yang bersifat subjektif seperti kebaruan atau pentingnya riset; bahkan kadang menunjukkan kecenderungan untuk berlebihan memuji. Zou menekankan bahwa AI harus mendukung, bukan menggantikan keputusan manusia; para ilmuwan perlu bertanggung jawab atas riset pada akhirnya, serta harus menjelaskan secara transparan tingkat keterlibatan AI. Eksperimen menunjukkan bahwa umpan balik AI meningkatkan kualitas peninjauan dan partisipasi peninjau. Ke depan, rencana akan mengadakan lebih banyak konferensi untuk menormalkan penerapan AI dalam sains. (Sumber: InFoQ)