По данным мониторинга Dongcha Beating, независимое оценочное агентство Artificial Analysis обновило рейтинг AutomationBench-AA. Модель Grok 4.5 от SpaceXAI заняла первое место с результатом 51,4%, опередив Claude Fable 5 (48,6%) и Claude Opus 4.8 (48,5%). AutomationBench-AA основан на AutomationBench от Zapier и тестирует способность AI-агентов выполнять реальные рабочие процессы SaaS в соответствии с корпоративными правилами. Тестовый набор включает 657 многошаговых задач, охватывающих 40 смоделированных сред приложений, включая Gmail, Google Sheets, Slack, Salesforce и HubSpot. Правила оценки строги: модель должна не только завершить задачу, но и не нарушать заранее установленные корпоративные «красные линии». Если в ходе задачи происходит нарушение, она оценивается в 0 баллов. Исходный показатель выполнения задач Grok 4.5 приближается к 80%, что выше, чем у Claude Fable 5 и Claude Opus 4.8. Даже после вычета баллов за нарушения модель сохраняет первое место с 51,4%, став первой моделью, набравшей более 50%. Её преимущество в стоимости ещё заметнее: стоимость одной задачи для Grok 4.5 составляет 0,34 доллара, что ниже, чем у Claude Fable 5 (1,35 доллара), Claude Opus 4.8 (1,46 доллара) и GPT-5.5 xhigh (1,28 доллара). Однако Grok 4.5 — не самая стабильная модель: в среднем на одну задачу приходится 0,63 нарушения, что выше, чем у Claude Opus 4.8 (0,55) и Gemini 3.5 Flash (0,46).

Посмотреть Оригинал

На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .

Награда
лайк
комментарий
Репост
Поделиться

комментарий

Добавить комментарий

Нет комментариев

Популярные темы
Подробнее
#
GUSDYieldRisesto3.8%
838,22K Популярность
#
PredictWorldCupShare20000U
210,27K Популярность
#
IsraelStrikesIranBTCPlunges
70,43K Популярность
#
USRevokesIranOilWaiver
1,39M Популярность
#
BlueOriginLaunches10BillionFundingRound
945,83K Популярность

Закреплено

Карта сайта

Grok 4.5 возглавил рейтинг SaaS-рабочих процессов, стоимость примерно в четыре раза ниже, чем у Claude.

Популярные темы

GUSDYieldRisesto3.8%

PredictWorldCupShare20000U

IsraelStrikesIranBTCPlunges

USRevokesIranOilWaiver

BlueOriginLaunches10BillionFundingRound

Закреплено