Згідно з моніторингом від Dongcha Beating, оцінювання традиційних моделей ШІ часто спирається на загальні академічні набори даних, що призводить до розбіжностей між високими тестовими результатами та фактичними показниками бізнесу. Оціночна агенція Artificial Analysis запустила шість галузевих індексів, щоб оцінювати реальну бізнес-ефективність, спираючись на наявні загальні індекси навичок для інтелекту та програмування (охоплюючи фінанси, право, охорону здоров’я, операції, інженерію та економіку). На відміну від загальних індексів навичок, галузеві індекси адаптовані з зваженими розподілами на основі класифікації O*NET work activity, імітуючи частоту завдань у реальних робочих позиціях. Вони узгоджують базові тести здатностей великих моделей (таких як HLE reasoning, LCR обробка довгих текстів, GDPval agent work тощо) із спеціалізованою базою знань кожної галузі (AA-Omniscience). На початковій фазі тестування закритостороння модель Claude Fable 5 посіла перше місце на всіх восьми індексах, тоді як open-source GLM-5.2 здобула п’ять перших місць у шести галузевих індексах, набравши 53 в індексі інженерії — близько до Claude Sonnet 5, який має 55. Оцінювання також виявило суттєву різницю в продуктивності: в індексі операцій одинична вартість виконання Claude Fable 5 ($3.48) перевищує більш ніж у сто разів вартість open-source DeepSeek V4 Pro ($0.03); в індексі права попередня версія Gemini 3.1 Pro майже 7 разів швидша за Claude Fable 5, при цьому її результат лише на 11 балів нижчий. Зважування продуктивності та рентабельності за сценаріями задач стає новим орієнтиром для вибору ШІ в вертикальних сферах.

Переглянути оригінал

Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.

Нагородити
подобається
Прокоментувати
Репост
Поділіться

Прокоментувати

Додати коментар

Немає коментарів

Популярні теми
Дізнатися більше
#
PredictWorldCupShare20000U
327,36K Популярність
#
IsraelStrikesIranBTCPlunges
71,16K Популярність
#
USIranWarCloudsGather
4M Популярність
#
GUSDYieldRisesto3.8%
893,81K Популярність
#
WorldCupChampionPrediction
188,54K Популярність

Закріплено

карта сайту

Революція в оцінюванні ШІ! Artificial Analysis запускає Індекс галузевих можливостей: Claude Fable 5 домінує, Open Source GLM-5.2 наближається до закритого вихідного фронтиру

Популярні теми

PredictWorldCupShare20000U

IsraelStrikesIranBTCPlunges

USIranWarCloudsGather

GUSDYieldRisesto3.8%

WorldCupChampionPrediction

Закріплено