Theo theo dõi của Dongcha Beating, các bài đánh giá phổ biến của mô hình AI truyền thống thường dựa trên các bộ dữ liệu học thuật chung, dẫn đến chênh lệch giữa điểm số bài test cao và hiệu suất kinh doanh thực tế. Hãng đánh giá Artificial Analysis đã ra mắt 6 chỉ số theo từng ngành để đo lường hiệu quả hoạt động thực của doanh nghiệp, dựa trên các chỉ số năng lực tổng quát hiện có về trí tuệ và lập trình (bao gồm tài chính, pháp luật, y tế, vận hành, kỹ thuật và kinh tế). Khác với các chỉ số năng lực tổng quát, các chỉ số theo ngành được tùy biến với phân phối có trọng số dựa trên phân loại hoạt động công việc O*NET, mô phỏng tần suất các tác vụ trong các vị trí thực tế. Nó đối chiếu các bài kiểm tra năng lực cốt lõi của các mô hình lớn (như suy luận HLE, xử lý văn bản dài LCR, công việc của tác nhân GDPval, v.v.) với cơ sở kiến thức chuyên ngành của từng lĩnh vực (AA-Omniscience). Ở giai đoạn thử nghiệm ban đầu, mô hình nguồn đóng Claude Fable 5 đứng đầu cả 8 chỉ số, trong khi mô hình nguồn mở GLM-5.2 giành 5 vị trí đầu trong 6 chỉ số theo ngành, đạt 53 ở chỉ số kỹ thuật, tiệm cận 55 của Claude Sonnet 5. Đánh giá cũng cho thấy khoảng cách hiệu suất đáng kể: ở chỉ số vận hành, chi phí tác vụ đơn của Claude Fable 5 ($3,48) cao hơn hơn 100 lần so với DeepSeek V4 Pro nguồn mở ($0,03); ở chỉ số pháp lý, phiên bản xem trước của Gemini 3.1 Pro nhanh hơn gần 7 lần so với Claude Fable 5, với điểm chỉ thấp hơn 11 điểm. Việc cân nhắc hiệu suất và chi phí-hiệu quả dựa trên các kịch bản tác vụ đang trở thành chuẩn mực mới cho việc chọn AI trong các lĩnh vực dọc.

Xem bản gốc

Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.

Phần thưởng
Thích
Bình luận
Đăng lại
Retweed

Bình luận

Thêm một bình luận

Không có bình luận

Chủ đề thịnh hành
Xem thêm
#
LABPlunges53PercentInTwoDays
3,07M Phổ biến
#
IsraelStrikesIranBTCPlunges
71,81K Phổ biến
#
USIranWarCloudsGather
3,94M Phổ biến
#
GUSDYieldRisesto3.8%
651,94K Phổ biến
#
WorldCupChampionPrediction
208,03K Phổ biến

Đã ghim

sơ đồ trang web

Cuộc cách mạng trong đánh giá AI! Artificial Analysis ra mắt Chỉ số Năng lực Ngành: Claude Fable 5 dẫn đầu, Open Source GLM-5.2 tiến sát “tuyến đầu” mã nguồn đóng

Chủ đề thịnh hành

LABPlunges53PercentInTwoDays

IsraelStrikesIranBTCPlunges

USIranWarCloudsGather

GUSDYieldRisesto3.8%

WorldCupChampionPrediction

Đã ghim