据“懂擦捶打”(Dongcha Beating)的监测,传统 AI 模型评估往往依赖通用的学术数据集,从而导致高测试分数与实际业务表现之间出现差异。评估机构 Artificial Analysis 已推出六个面向行业的指数,用于衡量真实的业务表现:在现有用于智能与编程的通用能力指数基础上构建(涵盖金融、法律、医疗健康、运营、工程与经济)。不同于通用能力指数,行业指数会根据 O*NET 的工作活动分类进行加权分布定制,以模拟真实岗位中任务出现的频率。它将大模型的底层能力测试(如 HLE 推理、LCR 长文本处理、GDPval agent work 等)与各行业的专门知识库(AA-Omniscience)进行匹配。在初始测试阶段,闭源模型 Claude Fable 5 在全部八个指数中均位列第一;而开源的 GLM-5.2 在六个行业指数中赢得了五个第一名,工程指数得分为 53,接近 Claude Sonnet 5 的 55。
评估还揭示了显著的性能差距:在运营指数中,Claude Fable 5 的单任务成本($3.48)是开源 DeepSeek V4 Pro($0.03)的超过一百倍;在法律指数中,Gemini 3.1 Pro 的预览版本相比 Claude Fable 5 快近七倍,分数仅低 11 分。根据任务场景权衡性能与成本效益,正逐渐成为垂直领域 AI 选型的新基准。
308.3万 热度
433.07万 热度
254.42万 热度
394.78万 热度
65.23万 热度
人工智能评估的革命!Artificial Analysis 推出行业能力指数:Claude Fable 5 占据主导,开源 GLM-5.2 接近闭源前沿
据“懂擦捶打”(Dongcha Beating)的监测,传统 AI 模型评估往往依赖通用的学术数据集,从而导致高测试分数与实际业务表现之间出现差异。评估机构 Artificial Analysis 已推出六个面向行业的指数,用于衡量真实的业务表现:在现有用于智能与编程的通用能力指数基础上构建(涵盖金融、法律、医疗健康、运营、工程与经济)。不同于通用能力指数,行业指数会根据 O*NET 的工作活动分类进行加权分布定制,以模拟真实岗位中任务出现的频率。它将大模型的底层能力测试(如 HLE 推理、LCR 长文本处理、GDPval agent work 等)与各行业的专门知识库(AA-Omniscience)进行匹配。在初始测试阶段,闭源模型 Claude Fable 5 在全部八个指数中均位列第一;而开源的 GLM-5.2 在六个行业指数中赢得了五个第一名,工程指数得分为 53,接近 Claude Sonnet 5 的 55。
评估还揭示了显著的性能差距:在运营指数中,Claude Fable 5 的单任务成本($3.48)是开源 DeepSeek V4 Pro($0.03)的超过一百倍;在法律指数中,Gemini 3.1 Pro 的预览版本相比 Claude Fable 5 快近七倍,分数仅低 11 分。根据任务场景权衡性能与成本效益,正逐渐成为垂直领域 AI 选型的新基准。