Grok 4.5 assume o topo da avaliação de fluxo de trabalho SaaS, com custo cerca de um quarto do Claude.

robot
Geração do resumo em andamento
Segundo monitoramento do Beating, a agência independente de avaliação Artificial Analysis atualizou o ranking AutomationBench-AA. O Grok 4.5, da SpaceXAI, liderou com 51,4% de pontuação, superando o Claude Fable 5 (48,6%) e o Claude Opus 4.8 (48,5%). O AutomationBench-AA é baseado no AutomationBench do Zapier e testa se os agentes de IA conseguem concluir fluxos de trabalho reais em SaaS seguindo regras empresariais. O conjunto de testes contém 657 tarefas de múltiplas etapas, cobrindo 40 ambientes de aplicativos simulados, incluindo Gmail, Google Sheets, Slack, Salesforce e HubSpot. As regras de pontuação são rigorosas. O modelo não só precisa concluir as tarefas, como também não pode violar as regras pré-definidas pela empresa. Se uma tarefa desencadear uma violação, ela recebe nota zero. A taxa de conclusão bruta do Grok 4.5 foi de quase 80%, superior à do Claude Fable 5 e do Claude Opus 4.8. Mesmo após os descontos por violações, ele ficou em primeiro com 51,4%, sendo também o primeiro modelo a ultrapassar 50% de pontuação. Sua vantagem de custo é ainda mais evidente. O custo por tarefa do Grok 4.5 é de US$ 0,34, abaixo dos US$ 1,35 do Claude Fable 5, US$ 1,46 do Claude Opus 4.8 e US$ 1,28 do GPT-5.5 xhigh. No entanto, o Grok 4.5 não é o modelo mais estável. Ele registra em média 0,63 violações por tarefa, acima das 0,55 do Claude Opus 4.8 e das 0,46 do Gemini 3.5 Flash.
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
  • Recompensa
  • Comentário
  • Repostar
  • Compartilhar
Comentário
Adicionar um comentário
Adicionar um comentário
Sem comentários
  • Fixado