Revolusi dalam Evaluasi AI! Artificial Analysis Meluncurkan Indeks Kemampuan Industri: Claude Fable 5 Mendominasi, Open Source GLM-5.2 Mendekati Perbatasan Closed Source

Menurut pemantauan oleh Dongcha Beating, evaluasi model AI tradisional sering kali mengandalkan dataset akademik generik, yang menyebabkan perbedaan antara skor tes tinggi dan kinerja bisnis aktual. Lembaga evaluasi Artificial Analysis telah meluncurkan enam indeks spesifik industri untuk menilai kinerja bisnis nyata, yang dibangun di atas indeks keterampilan umum yang sudah ada untuk kecerdasan dan pemrograman (mencakup keuangan, hukum, perawatan kesehatan, operasional, teknik, dan ekonomi). Tidak seperti indeks keterampilan umum, indeks industri disesuaikan dengan distribusi bobot berdasarkan klasifikasi aktivitas kerja O*NET, mensimulasikan frekuensi tugas dalam posisi pekerjaan nyata. Ini mencocokkan tes kemampuan dasar dari model besar (seperti penalaran HLE, pemrosesan teks panjang LCR, pekerjaan agen GDPval, dll.) dengan basis pengetahuan khusus masing-masing industri (AA-Omniscience). Dalam fase pengujian awal, model sumber tertutup Claude Fable 5 menduduki puncak delapan indeks, sementara sumber terbuka GLM-5.2 meraih lima tempat pertama di enam indeks industri, dengan skor 53 pada indeks teknik, mendekati skor Claude Sonnet 5 sebesar 55. Evaluasi juga mengungkapkan kesenjangan kinerja yang signifikan: dalam indeks operasional, biaya tugas tunggal Claude Fable 5 ($3,48) lebih dari seratus kali lipat dari DeepSeek V4 Pro sumber terbuka ($0,03); dalam indeks hukum, versi pratinjau Gemini 3.1 Pro hampir tujuh kali lebih cepat dari Claude Fable 5, dengan skor hanya 11 poin lebih rendah. Menyeimbangkan kinerja dan efektivitas biaya berdasarkan skenario tugas menjadi tolok ukur baru untuk pemilihan AI di bidang vertikal.
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
  • Hadiah
  • Komentar
  • Posting ulang
  • Bagikan
Komentar
Tambahkan komentar
Tambahkan komentar
Tidak ada komentar
  • Disematkan