Revolusi dalam Evaluasi AI! Artificial Analysis Meluncurkan Industry Capability Index: Claude Fable 5 Mendominasi, Open Source GLM-5.2 Mendekati Frontier Tertutup

robot
Pembuatan abstrak sedang berlangsung
Berdasarkan pemantauan oleh Dongcha Beating, evaluasi model AI tradisional sering kali mengandalkan kumpulan data akademik yang generik, sehingga menimbulkan perbedaan antara skor pengujian yang tinggi dan kinerja bisnis yang sebenarnya. Lembaga evaluasi Artificial Analysis telah meluncurkan enam indeks yang spesifik industri untuk menilai kinerja bisnis yang nyata, dengan membangun indeks kemampuan umum yang sudah ada untuk kecerdasan dan pemrograman (mencakup keuangan, hukum, kesehatan, operasi, rekayasa, dan ekonomi). Berbeda dari indeks kemampuan umum, indeks industri disesuaikan dengan distribusi berbobot berdasarkan klasifikasi aktivitas kerja O*NET, yang mensimulasikan frekuensi tugas dalam posisi pekerjaan yang nyata. Indeks ini menyetarakan tes kemampuan dasar model besar (seperti penalaran HLE, pemrosesan teks panjang LCR, pekerjaan agen GDPval, dll.) dengan basis pengetahuan khusus dari tiap industri (AA-Omniscience). Pada fase pengujian awal, model closed-source Claude Fable 5 menempati puncak di semua delapan indeks, sementara model open-source GLM-5.2 meraih lima posisi pertama dari enam indeks industri, dengan skor 53 pada indeks rekayasa, mendekati skor Claude Sonnet 5 yang 55. Evaluasi juga mengungkap adanya kesenjangan kinerja yang signifikan: pada indeks operasi, biaya per tugas tunggal Claude Fable 5 ($3,48) lebih dari seratus kali lipat dibanding open-source DeepSeek V4 Pro ($0,03); pada indeks hukum, versi preview Gemini 3.1 Pro hampir tujuh kali lebih cepat daripada Claude Fable 5, dengan skor yang hanya 11 poin lebih rendah. Menimbang kinerja dan efektivitas biaya berdasarkan skenario tugas kini menjadi tolok ukur baru untuk pemilihan AI di bidang vertikal.
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
  • Hadiah
  • Komentar
  • Posting ulang
  • Bagikan
Komentar
Tambahkan komentar
Tambahkan komentar
Tidak ada komentar
  • Disematkan