Grok 4.5 vươn lên vị trí đầu bảng về độ bền của các Agent của Tencent Hunyuan, hơn 60% nhiệm vụ được hoàn thành mà không cần dùng mô hình

robot
Đang tạo bản tóm tắt
Theo dõi Beating cho biết, nhóm Tencent Hunyuan phối hợp với nhiều trường đại học đã công bố LHTB, nhằm kiểm tra liệu AI Agent có thể liên tục hoàn thành các nhiệm vụ phức tạp trong môi trường đầu cuối hay không.

Bộ chuẩn bao gồm 46 nhiệm vụ, bao phủ các lĩnh vực như kỹ thuật phần mềm, tái hiện thí nghiệm, tính toán khoa học và phân tích đa phương thức. Mỗi nhiệm vụ chạy tối đa 90 phút, thường cần thao tác liên tục hàng trăm bước.

LHTB không chỉ đánh giá việc thành bại cuối cùng. Hoàn thành được một phần nhiệm vụ cũng sẽ được chấm điểm theo tiến độ thực tế. Bộ xác minh ẩn sẽ kiểm tra các tệp, kết quả kiểm thử và đầu ra chương trình; việc Agent tự nhận đã hoàn thành không được tính.

Bản thử nghiệm đầu tiên của bài báo đã kiểm tra 15 mô hình. GPT-5.5 hoàn thành 7 nhiệm vụ, xếp thứ nhất. Mỗi mô hình thực hiện một nhiệm vụ, trung bình tiêu tốn khoảng 9,9 triệu Token và mất khoảng 85 phút.

Kết quả công khai hiện đã mở rộng lên 20 mô hình. Grok 4.5 dẫn đầu với điểm trung bình 0,505, hoàn thành 13 nhiệm vụ. Trong 46 nhiệm vụ, vẫn còn 29 nhiệm vụ chưa có mô hình nào đạt chuẩn hoàn thành.

Phần lớn Agent có thể hoàn thành một số bước, nhưng thường bị cạn 90 phút hoặc kết thúc sớm khi nhiệm vụ vẫn chưa xong, nên không thể thực sự hoàn tất các nhiệm vụ phức tạp.
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • Bình luận
  • Đăng lại
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
Không có bình luận
  • Đã ghim