Grok 4.5 очолює рейтинг SaaS робочих процесів, вартість приблизно в чотири рази менше, ніж у Claude.

robot
Генерація анотацій у процесі
За даними моніторингу Beating, незалежна оціночна організація Artificial Analysis оновила рейтинг AutomationBench-AA.
Grok 4.5 від SpaceXAI посів перше місце з результатом 51,4%, випередивши Claude Fable 5 (48,6%) та Claude Opus 4.8 (48,5%).
AutomationBench-AA базується на AutomationBench від Zapier і тестує, чи може AI-агент виконувати реальні робочі процеси SaaS відповідно до корпоративних правил.
Тестовий набір містить 657 багатокрокових завдань, що охоплюють 40 симульованих середовищ додатків, включаючи Gmail, Google Sheets, Slack, Salesforce та HubSpot.
Правила оцінювання дуже суворі.
Модель повинна не лише виконати завдання, але й не порушувати встановлені корпоративні обмеження.
Якщо завдання викликає порушення, воно оцінюється в 0 балів.
Початковий рівень виконання завдань Grok 4.5 становить майже 80%, що вище, ніж у Claude Fable 5 та Claude Opus 4.8.
Навіть після зняття балів за порушення, він все одно посідає перше місце з 51,4%, і це перша модель, яка набрала понад 50%.
Його вартісна перевага ще більш очевидна.
Вартість Grok 4.5 за одне завдання становить 0,34 долара, що нижче, ніж 1,35 долара у Claude Fable 5, 1,46 долара у Claude Opus 4.8 та 1,28 долара у GPT-5.5 xhigh.
Але Grok 4.5 не є найстабільнішою моделлю.
В середньому він викликає 0,63 порушення на завдання, що більше, ніж 0,55 у Claude Opus 4.8 та 0,46 у Gemini 3.5 Flash.
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • Прокоментувати
  • Репост
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
Немає коментарів
  • Закріплено