Революция в оценке ИИ! Artificial Analysis запускает Industry Capability Index: Claude Fable 5 доминирует, открытый GLM-5.2 приближается к закрытому фронтиру

По данным мониторинга Dongcha Beating, в оценках традиционных AI-моделей часто используются универсальные академические датасеты, из-за чего возникают расхождения между высокими результатами тестов и реальной бизнес-производительностью. Оценочное агентство Artificial Analysis запустило шесть отраслевых индексов для оценки фактической эффективности в бизнесе, опираясь на существующие общие индексы навыков для интеллекта и программирования (охватывающие финансы, право, здравоохранение, операции, инжиниринг и экономику). В отличие от общих индексов навыков, отраслевые индексы настраиваются с взвешенными распределениями на основе классификации O*NET work activity, чтобы смоделировать частоту задач в реальных должностных позициях. Это сопоставляет базовые тесты возможностей больших моделей (например, HLE reasoning, LCR обработка длинных текстов, GDPval agent work и т. д.) со специализированной базой знаний каждой отрасли (AA-Omniscience).

На первоначальном этапе тестирования закрытoй модели Claude Fable 5 удалось занять первое место во всех восьми индексах, тогда как open-source GLM-5.2 получил пять первых мест в шести отраслевых индексах: в инжиниринговом индексе он набрал 53, что близко к 55 у Claude Sonnet 5. Также оценка выявила заметный разрыв в производительности: в операционном индексе стоимость выполнения одной задачи у Claude Fable 5 ($3,48) более чем в сто раз выше, чем у open-source DeepSeek V4 Pro ($0,03); в правовом индексе предварительная версия Gemini 3.1 Pro почти в семь раз быстрее, чем Claude Fable 5, при этом разница по баллам составляет лишь 11 пунктов.

Учет производительности и стоимости с точки зрения сценариев задач становится новым ориентиром для выбора AI в вертикальных сегментах.