Meta AI lanza JEPA-WMs, un modelo de mundo predictivo de incrustación conjunta para planificación física

Noticias de ME, el 3 de abril (UTC+8), el equipo de investigación de Meta AI Research publicó el modelo de mundo JEPA-WMs con predicción de incrustaciones conjuntas para planificación física y sus investigaciones relacionadas. Este estudio analiza los factores clave para el éxito del modelo y proporciona una implementación completa en PyTorch, un conjunto de datos y modelos preentrenados. Los modelos publicados incluyen el JEPA-WM central, así como los modelos DINO-WM y V-JEPA-2-AC(fixed) como líneas base, cubriendo múltiples entornos de operación robótica y navegación como DROID & RoboCasa, Metaworld, Push-T, PointMaze y Wall. El modelo utiliza codificadores visuales como DINOv3 ViT-L/16, DINOv2 ViT-S/14 y V-JEPA-2 ViT-G/16, con resoluciones de entrada de imágenes principalmente de 224×224 o 256×256. El proyecto también ofrece una cabeza decodificadora opcional de VM2M para visualización y decodificación de trayectorias, pero recalca que este decodificador no es necesario para entrenar un modelo de mundo o para realizar evaluaciones de planificación. Todos los recursos ya están disponibles públicamente en GitHub, Hugging Face y arXiv. (Fuente: InFoQ)