Agen riset terkuat, setiap 7 objek masih hanya bisa menuntaskan pengecekan lengkap 1 objek

robot
Pembuatan abstrak sedang berlangsung
Berita dari CoinDesk, riset yang dirilis OneMillion_AI menunjukkan bahwa agen riset terkuat hanya mampu menuntaskan pemeriksaan lengkap 1 dari setiap 7 objek saat menangani tugas. Riset ini didasarkan pada benchmark wandr yang dirilis oleh perplexity, yang secara khusus menguji performa agen riset dalam pengumpulan informasi berskala besar. Tugasnya mengharuskan untuk terlebih dahulu menemukan seluruh kumpulan objek, lalu melengkapi setiap objek dengan informasi yang ditentukan serta sumber yang andal. Total 500 tugas melibatkan lebih dari 170 ribu catatan. Di antara 6 sistem yang diuji, perplexity search as code meraih peringkat pertama, tetapi hanya 13,3% objek yang sekaligus memenuhi informasi lengkap dan bukti lengkap. Jika dikonversi, dari setiap 7 objek hanya sekitar 1 yang mampu menyerahkan hasil secara lengkap. Hasilnya menunjukkan bahwa agen riset yang ada sudah dapat menemukan banyak halaman web, namun saat menangani daftar panjang dan tugas multi-bidang, agen tersebut masih mudah melewatkan objek, melewatkan informasi, atau kekurangan bukti.
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
  • Hadiah
  • 2
  • 2
  • Bagikan
Komentar
Tambahkan komentar
Tambahkan komentar
ChainHodler
· 4jam yang lalu
Target yang luput, bukti yang tidak lengkap, informasi yang belum utuh—tiga serangan berurutan ini sepenuhnya membongkar kelemahan agen saat ini. Dalam tugas skala besar, stabilitas lebih penting daripada kemampuan puncak, dan soal ini semua orang masih harus berkompetisi.
Lihat AsliBalas0
GasActuary
· 4jam yang lalu
Perplexity menempati peringkat pertama dengan hanya 13,3%, tolok ukurnya terasa sangat kejam. Sepertinya saat ini Agent lebih seperti alat pencarian super, masih kurang satu langkah lagi untuk benar-benar menjadi asisten peneliti.
Lihat AsliBalas0
  • Disematkan