بحث مشترك بين خمس جامعات يجعل الإنسان الرقمي يعتمد على الرؤية في التنقل المستقل في المشهد ثلاثي الأبعاد، وتجاوز معدل النجاح الخط الأساسي الأمثل بحوالي 30 نقطة مئوية

أخبار ME، 14 أبريل (بتوقيت UTC+8)، وفقًا لمراقبة 1M AI News، قام فريق مشترك من جامعة بكين، جامعة كارنيجي ميلون، جامعة Tongji، جامعة كاليفورنيا في لوس أنجلوس، وجامعة ميشيغان بنشر VGHuman على arXiv، وهو إطار عمل للذكاء الاصطناعي المادي الذي يجعل الإنسان الرقمي يتصرف بشكل مستقل في بيئات ثلاثية الأبعاد غريبة استنادًا فقط إلى الإدراك البصري. سابقًا، كانت أنظمة الإنسان الرقمي تعتمد بشكل عام على النصوص المسبقة أو معلومات الحالة المميزة، وكان هدف VGHuman هو تزويد الإنسان الرقمي فعليًا بعيونه، ليتمكن من رؤية الطريق، والتخطيط، واتخاذ الإجراءات بنفسه. يتكون الإطار من طبقتين. الطبقة العالمية (World Layer) تعيد بناء مشهد ثلاثي الأبعاد غاوسي مع علامات دلالية وشبكة تصادم من فيديو واحد العين، وتصميم الإدراك المانع يمنحه القدرة على التعرف على الأجسام الصغيرة المخبأة حتى في بيئات خارجية معقدة. الطبقة الوكيل (Agent Layer) تزود الإنسان الرقمي بحاسة RGB-D (ملونة + عمق) من منظور أول، وتستخدم إشارات بصرية للإدراك المكاني والتفكير التكراري لتوليد التخطيط، وأخيرًا يتم تحويله بواسطة نموذج الانتشار إلى سلسلة حركات كاملة للجسم لتحريك الشخصية. في معيار التنقل عبر 200 مشهد اختبار، عبر مستويات صعوبة بسيطة، وتجاوز العقبات، والمشاة الديناميكيين، تفوق معدل نجاح مهمة VGHuman بأكثر من 30 نقطة مئوية على خطوط الأساس الأقوى مثل NaVILA وNaVid وUni-NaVid، مع معدل تصادم مساوٍ أو أقل. يدعم الإطار أيضًا أنماط حركة متعددة مثل الركض والقفز، بالإضافة إلى التخطيط لمسافات طويلة للوصول إلى أهداف متعددة متتالية. من المخطط أن يتم إصدار الكود والنموذج كمصدر مفتوح، وقد تم إنشاء مستودع على GitHub. (المصدر: BlockBeats)