Grok 4.5 encabeza la evaluación de flujos de trabajo SaaS, con un costo de aproximadamente un cuarto del de Claude.

robot
Generación de resúmenes en curso
Según el monitoreo de Beating, la agencia de evaluación independiente Artificial Analysis actualizó el ranking AutomationBench-AA. Grok 4.5 de SpaceXAI lidera con una puntuación del 51,4 %, superando a Claude Fable 5 (48,6 %) y Claude Opus 4.8 (48,5 %). AutomationBench-AA se basa en AutomationBench de Zapier y prueba si los agentes de IA pueden completar flujos de trabajo SaaS reales siguiendo las reglas empresariales. El conjunto de pruebas incluye 657 tareas de múltiples pasos que cubren 40 entornos de aplicaciones simuladas, incluyendo Gmail, Google Sheets, Slack, Salesforce y HubSpot. Las reglas de puntuación son estrictas. El modelo no solo debe completar la tarea, sino también no violar las líneas rojas predefinidas por la empresa. Si una tarea desencadena una infracción, se puntúa como 0. La tasa de finalización original de Grok 4.5 es cercana al 80 %, superior a la de Claude Fable 5 y Claude Opus 4.8. Incluso después de los descuentos por infracciones, sigue primero con un 51,4 %, siendo el primer modelo en superar el 50 %. Su ventaja de costo es aún más evidente. Grok 4.5 cuesta 0,34 dólares por tarea, por debajo de los 1,35 dólares de Claude Fable 5, los 1,46 dólares de Claude Opus 4.8 y los 1,28 dólares de GPT-5.5 xhigh. Sin embargo, Grok 4.5 no es el modelo más estable. Desencadena un promedio de 0,63 infracciones por tarea, superior a las 0,55 de Claude Opus 4.8 y las 0,46 de Gemini 3.5 Flash.
Ver original
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
  • Recompensa
  • Comentar
  • Republicar
  • Compartir
Comentar
Añadir un comentario
Añadir un comentario
Sin comentarios
  • Fijado