computer-use vs семантичний проксі, дві технічні лінії прямо протистоять одна одній, дані говорять самі за себе

Команда NUS опублікувала базовий рівень GameWorld, що включає 34 браузерні ігри, 170 завдань, з підтверджуваними показниками для об'єктивної оцінки. Тестуються два типи проксі-інтерфейсів: computer-use, який використовує безпосередні командні клавіші та мишу, та універсальний мультимодальний проксі, що працює у семантичному просторі. Емпіричні результати для 18 комбінацій моделей та інтерфейсів показують, що навіть найкращі з них значно поступаються людині, а також виникають труднощі з затримкою в реальному часі, чутливістю до контекстної пам’яті та ефективністю дій. Відповідні статті та код вже опубліковані на HuggingFace та GitHub.