Meta AI lanza JEPA-WMs, un modelo de mundo predictivo de incrustación conjunta para planificación física

Noticias de ME: mensaje, 3 de abril (UTC+8), el equipo de Meta AI Research publicó el modelo de mundo JEPA-WMs basado en predicción de incrustaciones conjunta y utilizado para planificación física, así como sus investigaciones relacionadas. El estudio analiza los factores clave del éxito del modelo y proporciona una implementación completa de PyTorch, un conjunto de datos y modelos preentrenados. Los modelos publicados incluyen el JEPA-WM central y, como líneas base, los modelos DINO-WM y V-JEPA-2-AC(fixed), abarcando múltiples entornos de operación y navegación robótica como DROID & RoboCasa, Metaworld, Push-T, PointMaze y Wall. El modelo utiliza codificadores visuales como DINOv3 ViT-L/16, DINOv2 ViT-S/14 y V-JEPA-2 ViT-G/16, con resoluciones de entrada de imagen principalmente de 224×224 o 256×256. El proyecto también ofrece un cabezal decodificador opcional de VM2M para visualización y decodificación de trayectorias, pero enfatiza que este decodificador no es necesario para entrenar un modelo de mundo ni para realizar evaluaciones de planificación. Todos los recursos ya están publicados en GitHub, Hugging Face y arXiv. (Fuente: InFoQ)