Revolusi dalam Evaluasi AI! Artificial Analysis Meluncurkan Industry Capability Index: Claude Fable 5 Mendominasi, GLM-5.2 Open Source Mendekati Frontier Tertutup

robot
Pembuatan abstrak sedang berlangsung
Berdasarkan pemantauan Dongcha Beating, evaluasi model AI tradisional sering kali bergantung pada kumpulan data akademis yang generik, sehingga menimbulkan kesenjangan antara nilai tes yang tinggi dan performa bisnis yang sebenarnya. Lembaga evaluasi Artificial Analysis telah meluncurkan enam indeks khusus industri untuk menilai performa bisnis nyata, dengan membangun indeks kemampuan umum yang sudah ada untuk kecerdasan dan pemrograman (mencakup keuangan, hukum, kesehatan, operasional, teknik, dan ekonomi). Berbeda dari indeks kemampuan umum, indeks industri disesuaikan dengan distribusi berbobot berdasarkan klasifikasi aktivitas kerja O*NET, yang mensimulasikan frekuensi tugas pada posisi kerja dunia nyata. Indeks ini mencocokkan pengujian kapabilitas dasar model besar (seperti penalaran HLE, pemrosesan teks panjang LCR, pekerjaan agen GDPval, dll.) dengan basis pengetahuan khusus tiap industri (AA-Omniscience). Pada fase pengujian awal, model closed-source Claude Fable 5 menduduki peringkat teratas di semua delapan indeks, sementara GLM-5.2 open-source meraih lima tempat pertama dalam enam indeks industri, dengan skor 53 pada indeks teknik, mendekati Claude Sonnet 5 yang bernilai 55. Evaluasi ini juga mengungkap kesenjangan performa yang signifikan: pada indeks operasional, biaya per tugas tunggal Claude Fable 5 ($3,48) lebih dari seratus kali lipat dibanding DeepSeek V4 Pro ($0,03) open-source; pada indeks hukum, versi pratinjau Gemini 3.1 Pro hampir tujuh kali lebih cepat daripada Claude Fable 5, dengan skor hanya 11 poin lebih rendah. Menilai performa dan efisiensi biaya berdasarkan skenario tugas sedang menjadi tolok ukur baru untuk pemilihan AI di bidang vertikal.
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
  • Hadiah
  • Komentar
  • Posting ulang
  • Bagikan
Komentar
Tambahkan komentar
Tambahkan komentar
Tidak ada komentar
  • Disematkan