Meta AI lança o modelo de mundo preditivo de incorporação conjunta para planeamento físico JEPA-WMs

Notícias ME: Em 3 de abril (UTC+8), a equipa de investigação da Meta AI Research lançou os Modelos do Mundo com Previsão de Embeddings Conjuntos para Planeamento Físico, JEPA-WMs, e os respetivos estudos relacionados. Este estudo explora os fatores-chave para o sucesso do modelo e fornece uma implementação completa em PyTorch, conjuntos de dados e modelos pré-treinados. Os modelos disponibilizados incluem o núcleo do JEPA-WM, bem como os modelos de base DINO-WM e V-JEPA-2-AC(fixed), cobrindo vários ambientes de operação robótica e navegação, como DROID & RoboCasa, Metaworld, Push-T, PointMaze e Wall. O modelo utiliza codificadores visuais como DINOv3 ViT-L/16, DINOv2 ViT-S/14 e V-JEPA-2 ViT-G/16, e a resolução das imagens de entrada é principalmente 224×224 ou 256×256. O projeto também fornece uma cabeça opcional de descodificação VM2M para visualização e descodificação de trajetórias, mas salienta que esta descodificação não é necessária para treinar um modelo do mundo ou para efetuar avaliações de planeamento. Todos os recursos foram disponibilizados publicamente no GitHub, Hugging Face e arXiv. (Fonte: InFoQ)