¡Revolución en la evaluación de IA! Artificial Analysis lanza el Índice de Capacidad del Sector: Claude Fable 5 domina, mientras GLM-5.2 de código abierto se acerca al “frontier” de la fuente cerrada

robot
Generación de resúmenes en curso
Según el monitoreo de Dongcha Beating, las evaluaciones de modelos tradicionales de IA a menudo se basan en conjuntos de datos académicos genéricos, lo que provoca discrepancias entre altas puntuaciones en pruebas y el rendimiento real en el negocio. La agencia de evaluación Artificial Analysis ha lanzado seis índices específicos por industria para medir el rendimiento empresarial real, basándose en los índices generales de habilidades existentes para inteligencia y programación (que cubren finanzas, derecho, atención médica, operaciones, ingeniería y economía). A diferencia de los índices generales de habilidades, los índices por industria se personalizan con distribuciones ponderadas basadas en la clasificación de actividades laborales de O*NET, simulando la frecuencia de tareas en puestos de trabajo reales. Empareja las pruebas de capacidad subyacentes de modelos grandes (como el razonamiento HLE, el procesamiento de texto largo LCR, el trabajo del agente GDPval, etc.) con la base de conocimiento especializada de cada industria (AA-Omniscience). En la fase inicial de pruebas, el modelo de código cerrado Claude Fable 5 encabezó los ocho índices, mientras que el GLM-5.2 de código abierto se llevó cinco primeros lugares en seis índices de industria, con 53 en el índice de ingeniería, cerca de los 55 de Claude Sonnet 5. La evaluación también reveló una brecha de rendimiento significativa: en el índice de operaciones, el costo de tarea única de Claude Fable 5 ($3,48) es más de cien veces el de DeepSeek V4 Pro de código abierto ($0,03); en el índice legal, la versión preliminar de Gemini 3.1 Pro es casi siete veces más rápida que Claude Fable 5, con una puntuación solo 11 puntos inferior. Ponderar el rendimiento y la relación costo-efectividad según escenarios de tareas se está convirtiendo en un nuevo punto de referencia para la selección de IA en campos verticales.
Ver original
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
  • Recompensa
  • Comentar
  • Republicar
  • Compartir
Comentar
Añadir un comentario
Añadir un comentario
Sin comentarios
  • Fijado