¡Revolución en la evaluación de IA! Artificial Analysis lanza el Índice de Capacidad de la Industria: Claude Fable 5 domina, el código abierto GLM-5.2 se acerca a la frontera del código cerrado

Según el monitoreo de Dongcha Beating, las evaluaciones tradicionales de modelos de IA a menudo dependen de conjuntos de datos académicos genéricos, lo que genera discrepancias entre altas puntuaciones en pruebas y el rendimiento empresarial real. La agencia de evaluación Artificial Analysis ha lanzado seis índices específicos por industria para evaluar el rendimiento empresarial real, basándose en los índices de habilidades generales existentes para inteligencia y programación (que cubren finanzas, derecho, salud, operaciones, ingeniería y economía). A diferencia de los índices de habilidades generales, los índices de industria se personalizan con distribuciones ponderadas basadas en la clasificación de actividades laborales O*NET, simulando la frecuencia de tareas en puestos de trabajo reales. Esto empareja las pruebas de capacidad subyacentes de los modelos grandes (como razonamiento HLE, procesamiento de texto largo LCR, trabajo de agente GDPval, etc.) con la base de conocimientos especializados de cada industria (AA-Omniscience). En la fase inicial de pruebas, el modelo de código cerrado Claude Fable 5 lideró los ocho índices, mientras que el de código abierto GLM-5.2 obtuvo cinco primeros lugares en seis índices industriales, con una puntuación de 53 en el índice de ingeniería, cerca del 55 de Claude Sonnet 5. La evaluación también reveló una brecha de rendimiento significativa: en el índice de operaciones, el costo por tarea única de Claude Fable 5 ($3.48) es más de cien veces el de DeepSeek V4 Pro de código abierto ($0.03); en el índice legal, la versión preliminar de Gemini 3.1 Pro es casi siete veces más rápida que Claude Fable 5, con una puntuación solo 11 puntos inferior. Sopesar el rendimiento y la relación costo-efectividad según los escenarios de tareas se está convirtiendo en un nuevo punto de referencia para la selección de IA en campos verticales.
Ver original
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
  • Recompensa
  • Comentar
  • Republicar
  • Compartir
Comentar
Añadir un comentario
Añadir un comentario
Sin comentarios
  • Fijado