Grok 4.5 en tête des évaluations de workflow SaaS, coût environ un quart de celui de Claude.

robot
Création du résumé en cours
Selon le suivi de Beating, l'organisme d'évaluation indépendant Artificial Analysis a mis à jour le classement AutomationBench-AA. Le Grok 4.5 de SpaceXAI atteint la première place avec un score de 51,4 %, dépassant le Claude Fable 5 (48,6 %) et le Claude Opus 4.8 (48,5 %). AutomationBench-AA est basé sur AutomationBench de Zapier et teste si les agents d'IA peuvent exécuter des workflows SaaS réels selon les règles de l'entreprise. L'ensemble de tests comprend 657 tâches en plusieurs étapes, couvrant 40 environnements applicatifs simulés, notamment Gmail, Google Sheets, Slack, Salesforce et HubSpot. Les règles de notation sont strictes. Le modèle doit non seulement terminer la tâche, mais aussi ne pas franchir les lignes rouges prédéfinies par l'entreprise. Si une tâche déclenche une violation, elle est notée 0. Le taux d'achèvement brut des objectifs de Grok 4.5 est proche de 80 %, supérieur à celui de Claude Fable 5 et de Claude Opus 4.8. Même après déduction des points pour les lignes rouges, il se classe premier avec 51,4 %, étant également le premier modèle à dépasser les 50 %. Son avantage en matière de coûts est encore plus marqué. Le coût par tâche de Grok 4.5 est de 0,34 dollar, inférieur à celui de Claude Fable 5 (1,35 dollar), de Claude Opus 4.8 (1,46 dollar) et de GPT-5.5 xhigh (1,28 dollar). Cependant, Grok 4.5 n'est pas le modèle le plus stable. Il déclenche en moyenne 0,63 violation par tâche, contre 0,55 pour Claude Opus 4.8 et 0,46 pour Gemini 3.5 Flash.
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
  • Récompense
  • Commentaire
  • Reposter
  • Partager
Commentaire
Ajouter un commentaire
Ajouter un commentaire
Aucun commentaire
  • Épinglé