Grok 4.5 lidera a avaliação de fluxo de trabalho SaaS, custo cerca de um quarto do Claude.

robot
Geração de resumo em curso
Segundo a monitorização do Beating, a entidade de avaliação independente Artificial Analysis atualizou a lista AutomationBench-AA. O Grok 4.5 da SpaceXAI liderou com uma pontuação de 51.4%, superando os 48.6% do Claude Fable 5 e os 48.5% do Claude Opus 4.8. O AutomationBench-AA baseia-se no AutomationBench da Zapier, testando se os agentes de IA conseguem concluir fluxos de trabalho SaaS reais de acordo com as regras empresariais. O conjunto de testes contém 657 tarefas de múltiplas etapas, cobrindo 40 ambientes de aplicações simuladas, incluindo Gmail, Google Sheets, Slack, Salesforce e HubSpot. As regras de pontuação são rigorosas. O modelo não só tem de concluir a tarefa, como também não pode ultrapassar os limites pré-definidos pela empresa. Se uma tarefa desencadear uma violação, essa tarefa é tratada com 0 pontos. A taxa de conclusão de objetivos original do Grok 4.5 é de quase 80%, superior à do Claude Fable 5 e do Claude Opus 4.8. Mesmo após as deduções de pontuação devido aos limites, continua em primeiro lugar com 51.4%, sendo também o primeiro modelo a obter uma pontuação superior a 50%. A sua vantagem de custo é ainda mais evidente. O custo por tarefa do Grok 4.5 é de 0.34 dólares, inferior aos 1.35 dólares do Claude Fable 5, aos 1.46 dólares do Claude Opus 4.8 e aos 1.28 dólares do GPT-5.5 xhigh. No entanto, o Grok 4.5 não é o modelo mais estável. Em média, desencadeia 0.63 violações por tarefa, superior às 0.55 do Claude Opus 4.8 e às 0.46 do Gemini 3.5 Flash.
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
  • Recompensa
  • Comentar
  • Republicar
  • Partilhar
Comentar
Adicionar um comentário
Adicionar um comentário
Nenhum comentário
  • Fixado