AI 评估领域的革命!Artificial Analysis 发布行业能力指数:Claude Fable 5 表现最为突出,开源 GLM-5.2 接近闭源前沿

robot
摘要生成中

根据 Dongcha Beating 的监测,传统 AI 模型评估往往依赖通用的学术数据集,导致高测试成绩与实际业务表现之间出现差异。评估机构 Artificial Analysis 已推出 6 个面向行业的指数,用于衡量真实业务表现。该指数在既有的智能与编程通用能力指数基础上构建(涵盖金融、法律、医疗、运营、工程和经济)。

与通用能力指数不同,行业指数会根据 O*NET 工作活动分类来定制加权分布,以模拟真实岗位中的任务频率。它将大模型的底层能力测试(例如 HLE 推理、LCR 长文本处理、GDPval 代理工作等)与各行业的专门知识库(AA-Omniscience)相匹配。

在初始测试阶段,闭源模型 Claude Fable 5 在全部 8 个指数中均位列第一;而开源 GLM-5.2 在 6 个行业指数中拿下 5 个第一名。在工程指数上得分为 53,接近 Claude Sonnet 5 的 55。

评估结果还揭示了显著的性能差距:在运营指数中,Claude Fable 5 的单任务成本($3.48)是开源 DeepSeek V4 Pro($0.03)的百倍以上;在法律指数中,Gemini 3.1 Pro 的预览版速度几乎比 Claude Fable 5 快 7 倍,分数仅低 11 分。

基于任务场景权衡性能与成本效益,正在成为垂直领域 AI 选型的新基准。

查看原文
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 转发
  • 分享
评论
请输入评论内容
请输入评论内容
暂无评论