использование компьютера против семантического прокси, два технологических подхода сталкиваются напрямую, данные говорят сами за себя

Команда NUS выпустила бенчмарк GameWorld, включающий 34 браузерные игры, 170 задач, с проверяемыми метриками для объективной оценки. Тестируются два типа интерфейсов агентов: direct keyboard-mouse commands — компьютерное использование и универсальный мультимодальный агент, работающий в семаническом пространстве. Эмпирические результаты 18 комбинаций моделей и интерфейсов показывают, что даже лучшие из них значительно уступают человеку, а также сталкиваются с проблемами в области задержки в реальном времени, чувствительности к памяти контекста и эффективности действий. Связанные статьи и код опубликованы на HuggingFace и GitHub.