Theo theo dõi của Dongcha Beating, các đánh giá mô hình AI truyền thống thường dựa trên các bộ dữ liệu học thuật chung, dẫn đến sự chênh lệch giữa điểm số kiểm thử cao và hiệu quả kinh doanh thực tế. Đơn vị đánh giá Artificial Analysis đã ra mắt sáu chỉ số chuyên theo ngành để đo lường hiệu suất kinh doanh thực, dựa trên các chỉ số kỹ năng tổng quát hiện có về trí tuệ và lập trình (bao gồm tài chính, pháp luật, y tế, vận hành, kỹ thuật và kinh tế). Khác với các chỉ số kỹ năng tổng quát, các chỉ số theo ngành được tùy chỉnh với phân phối trọng số dựa trên phân loại hoạt động công việc O*NET, mô phỏng tần suất các nhiệm vụ trong các vị trí thực tế. Nó khớp các bài kiểm tra năng lực cốt lõi của các mô hình lớn (như suy luận HLE, xử lý văn bản dài LCR, công việc tác nhân GDPval, v.v.) với cơ sở kiến thức chuyên biệt của từng ngành (AA-Omniscience). Ở giai đoạn thử nghiệm ban đầu, mô hình mã nguồn đóng Claude Fable 5 đứng đầu cả tám chỉ số, trong khi mô hình mã nguồn mở GLM-5.2 giành năm vị trí đầu trong sáu chỉ số ngành, đạt 53 ở chỉ số kỹ thuật, gần với 55 của Claude Sonnet 5. Bảng đánh giá cũng cho thấy khoảng cách hiệu suất đáng kể: ở chỉ số vận hành, chi phí cho tác vụ đơn của Claude Fable 5 ($3,48) cao hơn hơn một trăm lần so với DeepSeek V4 Pro mã nguồn mở ($0,03); ở chỉ số pháp lý, phiên bản xem trước của Gemini 3.1 Pro nhanh hơn Claude Fable 5 gần bảy lần, với số điểm chỉ thấp hơn 11 điểm. Việc cân nhắc hiệu suất và hiệu quả chi phí dựa trên các kịch bản tác vụ đang dần trở thành chuẩn mực mới để lựa chọn AI trong các lĩnh vực dọc.

Xem bản gốc

Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.

Phần thưởng
Thích
Bình luận
Đăng lại
Retweed

Bình luận

Thêm một bình luận

Không có bình luận

Chủ đề thịnh hành
Xem thêm
#
PredictWorldCupShare20000U
327,36K Phổ biến
#
IsraelStrikesIranBTCPlunges
71,16K Phổ biến
#
USIranWarCloudsGather
4M Phổ biến
#
GUSDYieldRisesto3.8%
893,81K Phổ biến
#
WorldCupChampionPrediction
188,54K Phổ biến

Đã ghim

sơ đồ trang web

Cú cách mạng trong đánh giá AI! Artificial Analysis ra mắt Chỉ số năng lực ngành: Claude Fable 5 dẫn đầu, Open source GLM-5.2 tiến gần đến “điểm đầu” của giải pháp đóng nguồn

Chủ đề thịnh hành

PredictWorldCupShare20000U

IsraelStrikesIranBTCPlunges

USIranWarCloudsGather

GUSDYieldRisesto3.8%

WorldCupChampionPrediction

Đã ghim