Estándar de evaluación de código abierto + árbitro unificado, T2I finalmente tiene un sistema de puntuación que puede competir, la realismo y la creatividad siguen siendo una línea divisoria.

El equipo de Qwen de Alibaba ha abierto al público la evaluación de dibujo de referencia Qwen-Image-Bench y el árbitro visual unificado Q-Judger, utilizados para evaluar la capacidad de generación de texto a imagen (T2I). Cubre cinco dimensiones: calidad de la imagen, estética, alineación de la imagen, realismo y creatividad, con 23 subcapacidades y 56 métricas; incluye 1000 palabras clave en chino e inglés. Ochoyenta evaluadores profesionales realizan evaluaciones a ciegas, con más de 130,000 pares de datos anotados, y la concordancia entre los jueces y las puntuaciones humanas alcanza el 92%. Entre los primeros 18 modelos, GPT Image 2 ocupa el primer lugar, y los modelos de élite aún muestran una brecha significativa en las dimensiones de realismo y creatividad; detalles como el estilo de dibujo, gravedad, iluminación y sombras siguen siendo obstáculos comunes.