Grok 4.5 đứng đầu bảng đánh giá quy trình làm việc SaaS, chi phí chỉ bằng 1/4 so với Claude.

robot
Đang tạo bản tóm tắt
Theo giám sát của Beating, tổ chức đánh giá độc lập Artificial Analysis đã cập nhật bảng xếp hạng AutomationBench-AA. Grok 4.5 của SpaceXAI dẫn đầu với điểm số 51,4%, vượt qua Claude Fable 5 với 48,6% và Claude Opus 4.8 với 48,5%. AutomationBench-AA dựa trên AutomationBench của Zapier, kiểm tra khả năng của AI agent trong việc hoàn thành các quy trình SaaS thực tế theo quy tắc doanh nghiệp. Bộ kiểm tra bao gồm 657 nhiệm vụ đa bước, bao phủ 40 môi trường ứng dụng mô phỏng, bao gồm Gmail, Google Sheets, Slack, Salesforce và HubSpot. Quy tắc chấm điểm rất nghiêm ngặt. Mô hình không chỉ phải hoàn thành nhiệm vụ mà còn không được vi phạm các ranh giới do doanh nghiệp đặt ra. Nếu bất kỳ nhiệm vụ nào gây ra vi phạm, nhiệm vụ đó sẽ bị tính điểm 0. Tỷ lệ hoàn thành mục tiêu ban đầu của Grok 4.5 là gần 80%, cao hơn Claude Fable 5 và Claude Opus 4.8. Ngay cả sau khi bị trừ điểm vì vi phạm, nó vẫn đứng đầu với 51,4%, và cũng là mô hình đầu tiên hiện tại đạt điểm số trên 50%. Lợi thế về chi phí của nó càng rõ rệt hơn. Chi phí mỗi nhiệm vụ của Grok 4.5 là 0,34 USD, thấp hơn 1,35 USD của Claude Fable 5, 1,46 USD của Claude Opus 4.8 và 1,28 USD của GPT-5.5 xhigh. Tuy nhiên, Grok 4.5 không phải là mô hình ổn định nhất. Trung bình mỗi nhiệm vụ, nó gây ra 0,63 lần vi phạm, cao hơn 0,55 lần của Claude Opus 4.8 và 0,46 lần của Gemini 3.5 Flash.
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • Bình luận
  • Đăng lại
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
Không có bình luận
  • Đã ghim