HuggingFace y GitHub ambos han abierto su código, bajando la barrera para la reproducción, la comunidad puede seguir el ritmo

El equipo de NUS publicó el estándar de GameWorld, que incluye 34 juegos de navegador, 170 tareas, y métricas verificables para una evaluación objetiva. Se probaron dos tipos de interfaces de proxy: la interfaz de uso de computadora con instrucciones directas de teclado y ratón, y un proxy multimodal general que opera en el espacio semántico. Los resultados empíricos de 18 combinaciones de modelos e interfaces muestran que, incluso los mejores rendimientos, están muy por debajo de los humanos, y existen desafíos en aspectos como la latencia en tiempo real, la sensibilidad a la memoria contextual y la efectividad de las acciones. La publicación y el código relacionados ya están disponibles en HuggingFace y GitHub.