コンピューター利用 vs セマンティックエージェンシー、二つの技術路線が正面対決、データが物語る

NUS チームは GameWorld ベンチマークを発表し、34のブラウザゲームと170のタスクを含み、客観的評価を可能にする検証可能な指標を備えています。2種類のエージェントインターフェースをテスト：直接キーボード・マウス指令のコンピュータ使用と、意味空間で操作する汎用マルチモーダルエージェント。18種類のモデル-インターフェースの組み合わせに関する実証実験では、最も優れたパフォーマンスを示した場合でも人間には遠く及ばず、リアルタイム遅延、コンテキスト記憶の感度、動作の有効性などの面で課題が存在します。関連論文とコードは HuggingFace と GitHub で公開されています。