Согласно мониторингу Dongcha Beating, традиционные оценки моделей ИИ часто полагаются на общие академические наборы данных, что приводит к расхождениям между высокими результатами тестов и фактической бизнес-эффективностью. Оценочное агентство Artificial Analysis запустило шесть отраслевых индексов для оценки реальной бизнес-эффективности, опираясь на существующие общие индексы навыков для интеллекта и программирования (охватывающие финансы, право, здравоохранение, операции, инженерию и экономику). В отличие от общих индексов навыков, отраслевые индексы настраиваются с взвешенным распределением на основе классификации рабочих действий O*NET, моделируя частоту задач в реальных должностях. Они сопоставляют базовые тесты способностей больших моделей (такие как логическое рассуждение HLE, обработка длинных текстов LCR, агентская работа GDPval и т.д.) со специализированной базой знаний каждой отрасли (AA-Omniscience). На начальном этапе тестирования закрытая модель Claude Fable 5 заняла первое место по всем восьми индексам, в то время как открытая GLM-5.2 завоевала пять первых мест по шести отраслевым индексам, набрав 53 балла в инженерном индексе, что близко к 55 баллам Claude Sonnet 5. Оценка также выявила значительный разрыв в производительности: в операционном индексе стоимость одной задачи Claude Fable 5 (3,48 доллара) более чем в сто раз превышает стоимость открытой DeepSeek V4 Pro (0,03 доллара); в юридическом индексе предварительная версия Gemini 3.1 Pro почти в семь раз быстрее Claude Fable 5, при этом её оценка всего на 11 баллов ниже. Взвешивание производительности и экономической эффективности в зависимости от сценариев задач становится новым стандартом выбора ИИ в вертикальных областях.

Посмотреть Оригинал

На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .

Награда
лайк
комментарий
Репост
Поделиться

комментарий

Добавить комментарий

Нет комментариев

Популярные темы
Подробнее
#
GUSDYieldRisesto3.8%
789,13K Популярность
#
PredictWorldCupShare20000U
235,27K Популярность
#
IsraelStrikesIranBTCPlunges
69,66K Популярность
#
StrategySells3588BTC
7,99M Популярность
#
GTBurns2.57MInQ
118,04K Популярность

Закреплено

Карта сайта

Популярные темы

GUSDYieldRisesto3.8%

PredictWorldCupShare20000U

IsraelStrikesIranBTCPlunges

StrategySells3588BTC

GTBurns2.57MInQ

Закреплено