Grok 4,5 menempati peringkat teratas pada daftar ketahanan Tencent Hunyuan Agent, dengan lebih dari 60% tugas selesai tanpa menggunakan model

robot
Pembuatan abstrak sedang berlangsung
Berdasarkan pemantauan Beating, tim Tencent Hunyuan berkolaborasi dengan beberapa universitas menerbitkan LHTB, yang secara khusus menguji apakah AI Agent dapat terus menyelesaikan tugas kompleks di terminal.

Tolok ukur mencakup 46 tugas, meliputi bidang seperti rekayasa perangkat lunak, replikasi eksperimen, komputasi ilmiah, dan analisis multimodal. Setiap tugas memiliki durasi maksimum 90 menit, dan biasanya memerlukan operasi berkelanjutan ratusan langkah.

LHTB tidak hanya melihat apakah tugas akhirnya berhasil. Penyelesaian sebagian tugas juga diberi nilai berdasarkan kemajuan aktual. Verifikator tersembunyi akan memeriksa berkas, hasil pengujian, dan keluaran program; pengakuan Agent bahwa ia sudah menyelesaikan tugas tidak dihitung.

Edisi pertama makalah menguji 15 model. GPT-5.5 menyelesaikan 7 tugas dan meraih peringkat pertama. Setiap model menjalankan satu tugas, dengan konsumsi rata-rata sekitar 9,9 juta Token dan durasi sekitar 85 menit.

Hasil publik saat ini telah diperluas menjadi 20 model. Grok 4.5 memuncaki peringkat dengan skor rata-rata 0,505, menyelesaikan 13 tugas. Dari 46 tugas, masih ada 29 tugas yang belum ada model yang mencapai standar penyelesaian.

Kebanyakan Agent mampu menyelesaikan sebagian langkah, tetapi sering kehabisan waktu 90 menit, atau menghentikan pekerjaan lebih awal saat tugas belum selesai, sehingga tidak dapat benar-benar menyelesaikan tugas kompleks.
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
  • Hadiah
  • Komentar
  • Posting ulang
  • Bagikan
Komentar
Tambahkan komentar
Tambahkan komentar
Tidak ada komentar
  • Disematkan