Agent nghiên cứu mạnh nhất cứ mỗi 7 đối tượng thì vẫn chỉ có thể tra cứu trọn vẹn được 1 đối tượng

robot
Đang tạo bản tóm tắt
币界网消息, nghiên cứu do OneMillion_AI công bố cho thấy, khi xử lý tác vụ, Agent nghiên cứu mạnh nhất chỉ có thể tra cứu đầy đủ 1 trong số 7 đối tượng. Nghiên cứu này dựa trên bộ benchmark wandr được phát hành bởi perplexity, được thiết kế riêng để kiểm tra hiệu quả của Agent nghiên cứu trong việc thu thập dữ liệu quy mô lớn. Nhiệm vụ yêu cầu trước hết phải tìm đầy đủ một loạt đối tượng, sau đó bổ sung đầy đủ thông tin được chỉ định và nguồn dẫn đáng tin cậy cho từng đối tượng. 500 tác vụ tất cả liên quan đến hơn 170.000 bản ghi. Trong 6 hệ thống tham gia, perplexity search as code xếp hạng nhất, nhưng chỉ 13,3% đối tượng đồng thời đáp ứng cả tính đầy đủ thông tin và bằng chứng đầy đủ. Quy đổi lại, cứ 7 đối tượng thì chỉ có khoảng 1 đối tượng có thể bàn giao hoàn chỉnh. Kết quả cho thấy, các Agent nghiên cứu hiện có đã có thể tìm được nhiều trang web, nhưng khi xử lý danh sách dài và tác vụ nhiều trường thông tin, chúng vẫn dễ bỏ sót đối tượng, bỏ sót thông tin hoặc thiếu bằng chứng.
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • 2
  • 2
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
ChainHodler
· 4giờ trước
Thiếu mục tiêu, thiếu bằng chứng, thông tin không đầy đủ—bộ ba này đã phơi bày hết điểm yếu hiện tại của các Agent. Trong các nhiệm vụ quy mô lớn, độ ổn định quan trọng hơn năng lực đạt đỉnh, và chuyện này mọi người vẫn còn phải “cày” thêm.
Xem bản gốcTrả lời0
GasActuary
· 4giờ trước
Perplexity đứng đầu cũng chỉ đạt 13,3%, mức benchmark này thực sự rất khắc nghiệt. Cảm giác hiện tại Agent giống một công cụ tìm kiếm siêu mạnh hơn, vẫn còn thiếu một chút để trở thành trợ lý nghiên cứu thực thụ.
Xem bản gốcTrả lời0
  • Đã ghim