uso de computadora vs. proxy semántico, dos rutas tecnológicas enfrentadas, los datos hablan

El equipo de NUS publicó el estándar de GameWorld, que incluye 34 juegos de navegador, 170 tareas, y métricas verificables para una evaluación objetiva. Se probaron dos tipos de interfaces de agentes: la interfaz de uso de computadora con instrucciones directas de teclado y ratón, y un agente multimodal general que opera en el espacio semántico. Los resultados empíricos de 18 combinaciones de modelos e interfaces muestran que, incluso el mejor rendimiento está muy por debajo del humano, y existen desafíos en aspectos como la latencia en tiempo real, la sensibilidad a la memoria contextual y la efectividad de las acciones. Los artículos relacionados y el código ya están disponibles en HuggingFace y GitHub.