نظرت إلى النتائج، النموذج الأفضل لا يزال بعيدًا جدًا عن الإنسان، فهدأت.

فريق NUS أصدر معيار GameWorld، الذي يتضمن 34 لعبة متصفح و170 مهمة، مع مؤشرات قابلة للتحقق لتحقيق تقييم موضوعي. اختبار نوعين من واجهات الوكيل: واجهة استخدام الكمبيوتر المباشرة لأوامر لوحة المفاتيح والفأرة، ووكيل متعدد الوسائط العام الذي يعمل في الفضاء الدلالي. أظهرت التجارب على 18 مجموعة من النماذج-الواجهات أن حتى الأفضل أداءً لا يقترب من أداء البشر، وهناك تحديات تتعلق بالكمون في الوقت الحقيقي، وحساسية ذاكرة السياق، وفعالية الحركات. الورقة البحثية ذات الصلة والكود متاحان على HuggingFace وGitHub.