Theo giám sát của Dongcha Beating, các đánh giá mô hình AI truyền thống thường dựa vào các bộ dữ liệu học thuật chung chung, dẫn đến sự khác biệt giữa điểm kiểm tra cao và hiệu suất kinh doanh thực tế. Tổ chức đánh giá Artificial Analysis đã tung ra sáu chỉ số theo ngành cụ thể để đánh giá hiệu suất kinh doanh thực tế, dựa trên các chỉ số kỹ năng chung hiện có về trí thông minh và lập trình (bao gồm tài chính, luật, chăm sóc sức khỏe, vận hành, kỹ thuật và kinh tế). Không giống như các chỉ số kỹ năng chung, các chỉ số ngành được tùy chỉnh với phân bổ trọng số dựa trên phân loại hoạt động công việc O*NET, mô phỏng tần suất các nhiệm vụ trong các vị trí công việc thực tế. Nó kết hợp các bài kiểm tra năng lực cơ bản của các mô hình lớn (như suy luận HLE, xử lý văn bản dài LCR, tác nhân công việc GDPval, v.v.) với cơ sở kiến thức chuyên ngành của từng ngành (AA-Omniscience). Trong giai đoạn thử nghiệm ban đầu, mô hình nguồn đóng Claude Fable 5 đã đứng đầu cả tám chỉ số, trong khi mô hình nguồn mở GLM-5.2 giành được năm vị trí đầu tiên trong sáu chỉ số ngành, đạt 53 điểm trong chỉ số kỹ thuật, gần với 55 điểm của Claude Sonnet 5. Đánh giá cũng tiết lộ một khoảng cách hiệu suất đáng kể: trong chỉ số vận hành, chi phí cho một nhiệm vụ đơn lẻ của Claude Fable 5 (3,48 đô la) cao hơn hàng trăm lần so với mô hình nguồn mở DeepSeek V4 Pro (0,03 đô la); trong chỉ số luật, phiên bản xem trước của Gemini 3.1 Pro nhanh hơn gần bảy lần so với Claude Fable 5, với điểm số chỉ thấp hơn 11 điểm. Cân nhắc giữa hiệu suất và hiệu quả chi phí dựa trên các kịch bản nhiệm vụ đang trở thành tiêu chuẩn mới cho việc lựa chọn AI trong các lĩnh vực dọc.

Xem bản gốc

Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.

Phần thưởng
Thích
Bình luận
Đăng lại
Retweed

Bình luận

Thêm một bình luận

Không có bình luận

Chủ đề thịnh hành
Xem thêm
#
GUSDYieldRisesto3.8%
786,95K Phổ biến
#
PredictWorldCupShare20000U
234,23K Phổ biến
#
IsraelStrikesIranBTCPlunges
69,66K Phổ biến
#
StrategySells3588BTC
7,99M Phổ biến
#
GTBurns2.57MInQ
117,34K Phổ biến

Đã ghim

sơ đồ trang web

Cách mạng trong đánh giá AI! Artificial Analysis ra mắt Chỉ số Năng lực Ngành: Claude Fable 5 thống trị, GLM-5.2 mã nguồn mở tiếp cận ranh giới mã nguồn đóng.

Chủ đề thịnh hành

GUSDYieldRisesto3.8%

PredictWorldCupShare20000U

IsraelStrikesIranBTCPlunges

StrategySells3588BTC

GTBurns2.57MInQ

Đã ghim