Benchmark de avaliação de código aberto + árbitro unificado, o T2I finalmente tem um sistema de pontuação que funciona, a veracidade e a criatividade ainda são o divisor de águas.

A equipa do Qwen da Alibaba lançou a avaliação de referência de desenho de código aberto Qwen-Image-Bench e o juiz visual unificado Q-Judger, usados para avaliar a capacidade de texto para imagem (T2I). Abrange cinco dimensões: qualidade de imagem, estética, alinhamento da imagem, realismo e criatividade, com 23 subcapacidades e 56 indicadores; inclui 1000 palavras-chave bilíngues em chinês e inglês. 80 avaliadores profissionais realizaram avaliações às cegas, com mais de 130.000 pares de dados anotados, e a concordância entre o juiz e a avaliação humana atingiu 92%. Entre os 18 primeiros modelos, o GPT Image 2 ficou em primeiro lugar, sendo que os modelos de topo ainda apresentam uma grande diferença nas dimensões de realismo e criatividade, enquanto detalhes como traços de artistas, gravidade, luz e sombra continuam a ser obstáculos comuns.