За даними моніторингу Dongcha Beating, традиційні оцінки моделей ШІ часто спираються на загальні академічні набори даних, що призводить до розбіжностей між високими тестовими балами та реальною бізнес-продуктивністю. Оціночне агентство Artificial Analysis запустило шість галузевих індексів для оцінки реальної бізнес-ефективності, розширивши існуючі загальні індекси навичок для інтелекту та програмування (охоплюють фінанси, право, охорону здоров'я, операції, інженерію та економіку). На відміну від загальних індексів навичок, галузеві індекси налаштовуються за допомогою зважених розподілів на основі класифікації робочих активностей O*NET, моделюючи частоту завдань у реальних посадах. Вони узгоджують базові тести здібностей великих моделей (такі як HLE міркування, LCR обробка довгих текстів, GDPval агентна робота тощо) зі спеціалізованою базою знань кожної галузі (AA-Omniscience). На початковому етапі тестування закрита модель Claude Fable 5 очолила всі вісім індексів, тоді як відкрита GLM-5.2 здобула п'ять перших місць у шести галузевих індексах, отримавши 53 бали в інженерному індексі, близько до 55 балів Claude Sonnet 5. Оцінка також виявила значний розрив у продуктивності: в операційному індексі вартість одного завдання Claude Fable 5 ($3.48) більш ніж у сто разів перевищує вартість відкритої DeepSeek V4 Pro ($0.03); у юридичному індексі попередня версія Gemini 3.1 Pro майже в сім разів швидша за Claude Fable 5, поступаючись лише на 11 балів. Зважування продуктивності та економічної ефективності на основі сценаріїв завдань стає новим стандартом для вибору ШІ у вертикальних сферах.

Переглянути оригінал

Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.

Нагородити
подобається
Прокоментувати
Репост
Поділіться

Прокоментувати

Додати коментар

Немає коментарів

Популярні теми
Дізнатися більше
#
GUSDYieldRisesto3.8%
789,13K Популярність
#
PredictWorldCupShare20000U
235,27K Популярність
#
IsraelStrikesIranBTCPlunges
69,66K Популярність
#
StrategySells3588BTC
7,99M Популярність
#
GTBurns2.57MInQ
118,04K Популярність

Закріплено

карта сайту

Революція в оцінці ШІ! Artificial Analysis запускає Індекс галузевих можливостей: Claude Fable 5 домінує, відкритий код GLM-5.2 наближається до переднього краю закритого коду.

Популярні теми

GUSDYieldRisesto3.8%

PredictWorldCupShare20000U

IsraelStrikesIranBTCPlunges

StrategySells3588BTC

GTBurns2.57MInQ

Закріплено