Meta AI випустила спільну вбудовану модель прогнозування світу для фізичного планування JEPA-WMs

Повідомлення ME News: 3 квітня (UTC+8) команда Meta AI Research опублікувала JEPA-WMs — модель світу для фізичного планування на основі спільного прогнозування вбудовувань — та відповідні дослідження. Це дослідження розглядає ключові фактори, що забезпечують успіх моделі, і надає повну реалізацію на PyTorch, датасет і попередньо навчені моделі. Опубліковані моделі включають основну JEPA-WM, а також базові (baseline) моделі DINO-WM і V-JEPA-2-AC(fixed), охоплюючи декілька роботизованих середовищ для керування та навігації, зокрема DROID & RoboCasa, Metaworld, Push-T, PointMaze і Wall. Модель використовує візуальні енкодери, зокрема DINOv3 ViT-L/16, DINOv2 ViT-S/14 і V-JEPA-2 ViT-G/16, а вхідний розмір зображень здебільшого становить 224×224 або 256×256. Проєкт також надає опційний декодерний head VM2M для візуалізації та декодування траєкторій, але наголошує, що цей декодер не є необхідним для тренування моделі світу або для проведення оціночних експериментів із планування. Усі ресурси опубліковано на GitHub, Hugging Face та arXiv. (Джерело: InFoQ)

Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • Прокоментувати
  • Репост
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
Немає коментарів
  • Закріпити