Поглянувши на результати, найкраща модель ще дуже далека від людського рівня, став спокійнішим.

Команда NUS опублікувала базовий рівень GameWorld, що містить 34 браузерні ігри та 170 завдань, з підтверджуваними показниками для об'єктивної оцінки. Тестуються два типи інтерфейсів агентів: direct keyboard-mouse commands — комп’ютерне використання та універсальний мультимодальний агент, що працює у семантичному просторі. Емпіричні результати для 18 комбінацій моделей та інтерфейсів показують, що навіть найкращі з них значно поступаються людині, а також стикаються з викликами у реальному часі, чутливості до контекстної пам’яті та ефективності дій. Відповідні статті та код вже опубліковані на HuggingFace та GitHub.