人工智能评估的革命!Artificial Analysis 推出行业能力指数:Claude Fable 5 占据主导,开源 GLM-5.2 接近闭源前沿

robot
摘要生成中

据“懂擦捶打”(Dongcha Beating)的监测,传统 AI 模型评估往往依赖通用的学术数据集,从而导致高测试分数与实际业务表现之间出现差异。评估机构 Artificial Analysis 已推出六个面向行业的指数,用于衡量真实的业务表现:在现有用于智能与编程的通用能力指数基础上构建(涵盖金融、法律、医疗健康、运营、工程与经济)。不同于通用能力指数,行业指数会根据 O*NET 的工作活动分类进行加权分布定制,以模拟真实岗位中任务出现的频率。它将大模型的底层能力测试(如 HLE 推理、LCR 长文本处理、GDPval agent work 等)与各行业的专门知识库(AA-Omniscience)进行匹配。在初始测试阶段,闭源模型 Claude Fable 5 在全部八个指数中均位列第一;而开源的 GLM-5.2 在六个行业指数中赢得了五个第一名,工程指数得分为 53,接近 Claude Sonnet 5 的 55。

评估还揭示了显著的性能差距:在运营指数中,Claude Fable 5 的单任务成本($3.48)是开源 DeepSeek V4 Pro($0.03)的超过一百倍;在法律指数中,Gemini 3.1 Pro 的预览版本相比 Claude Fable 5 快近七倍,分数仅低 11 分。根据任务场景权衡性能与成本效益,正逐渐成为垂直领域 AI 选型的新基准。

查看原文
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 转发
  • 分享
评论
请输入评论内容
请输入评论内容
暂无评论
  • 置顶