¡Revolución en la evaluación de IA! Artificial Analysis lanza el Industry Capability Index: Claude Fable 5 domina, el GLM-5.2 de código abierto se acerca al máximo de la frontera cerrada

robot
Generación de resúmenes en curso
Según el monitoreo de Dongcha Beating, las evaluaciones de modelos tradicionales de IA a menudo se basan en conjuntos de datos académicos genéricos, lo que provoca discrepancias entre puntuaciones altas en las pruebas y el rendimiento real en los negocios. La agencia de evaluación Artificial Analysis ha lanzado seis índices específicos de la industria para medir el desempeño real del negocio, basándose en los índices generales de habilidades existentes para inteligencia y programación (que cubren finanzas, derecho, salud, operaciones, ingeniería y economía). A diferencia de los índices generales de habilidades, los índices sectoriales se ajustan con distribuciones ponderadas según la clasificación de actividad laboral de O*NET, simulando la frecuencia de tareas en puestos reales. Coincide con las pruebas de capacidad subyacentes de los modelos grandes (como el razonamiento HLE, el procesamiento de texto largo LCR, el trabajo del agente GDPval, etc.) con la base de conocimiento especializada de cada industria (AA-Omniscience). En la fase inicial de pruebas, el modelo de código cerrado Claude Fable 5 encabezó los ocho índices, mientras que el GLM-5.2 de código abierto logró cinco primeros puestos en seis índices de industria, con 53 en el índice de ingeniería, cerca de los 55 de Claude Sonnet 5. La evaluación también reveló una brecha de rendimiento significativa: en el índice de operaciones, el costo por tarea única de Claude Fable 5 ($3,48) es más de cien veces el del DeepSeek V4 Pro de código abierto ($0,03); en el índice legal, la versión previa de Gemini 3.1 Pro es casi siete veces más rápida que Claude Fable 5, con una puntuación solo 11 puntos menor. Ponderar el rendimiento y la rentabilidad en función de escenarios de tareas se está convirtiendo en un nuevo punto de referencia para la selección de IA en campos verticales.
Ver original
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
  • Recompensa
  • Comentar
  • Republicar
  • Compartir
Comentar
Añadir un comentario
Añadir un comentario
Sin comentarios
  • Fijado