Відкритий стандарт оцінювання + єдина система суддівства, T2I нарешті має робочу систему оцінювання, справжність і креативність — це все ще межа різниці.

Команда Alibaba Qwen відкрила базу для оцінки малюнків Qwen-Image-Bench та єдиного візуального судді Q-Judger, які використовуються для оцінки здатності перетворення тексту в зображення (T2I). Вона охоплює п’ять вимірів: якість зображення, естетику, відповідність малюнку, реалістичність та креативність, має 23 підзділи та 56 показників; містить 1000 двомовних підказок англійською та китайською. 80 професійних експертів-оцінювачів проводять сліпе тестування, дані понад 130 000 пар з позначками, а ступінь збігу оцінок судді та людини досягає 92%. Серед перших 18 моделей GPT Image 2 посідає перше місце, а провідні моделі все ще мають значну різницю у вимірах реалістичності та креативності, деталі, такі як художні штрихи, гравітація, світлотінь, залишаються загальними проблемами.