Grok 4.5 memuncaki peringkat evaluasi alur kerja SaaS, biayanya sekitar seperempat dari Claude.

robot
Pembuatan abstrak sedang berlangsung
Berdasarkan pemantauan Beating, lembaga evaluasi independen Artificial Analysis memperbarui peringkat AutomationBench-AA.
Grok 4.5 milik SpaceXAI menduduki puncak dengan skor 51,4%, melampaui Claude Fable 5 dengan 48,6% dan Claude Opus 4.8 dengan 48,5%.
AutomationBench-AA didasarkan pada AutomationBench dari Zapier, menguji apakah agen AI dapat menyelesaikan alur kerja SaaS nyata sesuai aturan perusahaan.
Kumpulan pengujian mencakup 657 tugas multi-langkah yang mencakup 40 lingkungan aplikasi simulasi, termasuk Gmail, Google Sheets, Slack, Salesforce, dan HubSpot.
Aturan penilaiannya sangat ketat. Model tidak hanya harus menyelesaikan tugas, tetapi juga tidak boleh melanggar batasan (red line) yang telah ditetapkan perusahaan. Jika suatu tugas memicu pelanggaran, tugas tersebut akan diberi skor 0.
Tingkat penyelesaian target awal Grok 4.5 mendekati 80%, lebih tinggi dari Claude Fable 5 dan Claude Opus 4.8. Bahkan setelah dikurangi karena pelanggaran, skornya tetap 51,4% dan menempati peringkat pertama, menjadi model pertama yang mencapai skor di atas 50%.
Keunggulan biayanya lebih jelas. Biaya per tugas Grok 4.5 adalah 0,34 dolar AS, lebih rendah dari Claude Fable 5 sebesar 1,35 dolar AS, Claude Opus 4.8 sebesar 1,46 dolar AS, dan GPT-5.5 xhigh sebesar 1,28 dolar AS.
Namun Grok 4.5 bukan model yang paling stabil. Rata-rata setiap tugasnya memicu 0,63 pelanggaran, lebih tinggi dari Claude Opus 4.8 yang 0,55 dan Gemini 3.5 Flash yang 0,46.
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
  • Hadiah
  • Komentar
  • Posting ulang
  • Bagikan
Komentar
Tambahkan komentar
Tambahkan komentar
Tidak ada komentar
  • Disematkan