تنسنت تفتح مصدر نموذج العالم المختلط 2.0، جملة واحدة لإنشاء عالم ثلاثي الأبعاد يمكن التفاعل معه، يمكن استيراده مباشرة إلى Unity وUE

أخبار ME، في 16 أبريل (بتوقيت UTC+8)، وفقًا لمراقبة 动察 Beating، أطلقت شركة Tencent رسميًا نموذج العالم ثلاثي الأبعاد المختلط 2.0 (HY-World 2.0) وفتحته المصدر. هذا إطار لنموذج العالم متعدد الوسائط، يدعم إدخال النصوص، صورة واحدة، صور متعددة الزوايا وفيديوهات، والناتج ليس فيديو، بل أصول ثلاثية الأبعاد قابلة للتحرير (نماذج شبكية، رشاشات غاوس ثلاثية الأبعاد، سحب النقاط)، ويمكن استيرادها مباشرة إلى Unity و Unreal Engine و NVIDIA Isaac Sim. أوزان النموذج والكود متاحة كمصدر مفتوح على GitHub و Hugging Face. والفرق الجوهري بين نموذج العالم الفيديوي مثل Genie 3 و Cosmos ونموذج HY-World 2.0 هو: نماذج العالم الفيديوية تنتج فيديوهات على مستوى البكسل، وتختفي بعد المشاهدة، ولا يمكن تحريرها؛ بينما يولد HY-World 2.0 أصول ثلاثية الأبعاد دائمة الوجود، تدعم المشي الحر، التصادم الفيزيائي والتحرير الثانوي. في التقرير التقني، لخصت Tencent هذا الاختلاف بـ “مشاهدة فيديو ثم يختفي” مقابل “بناء عالم دائم الاحتفاظ”. يمكن التصيير في الوقت الحقيقي باستخدام GPU استهلاكي، والاستنتاج يحتاج لمرة واحدة فقط، على عكس نماذج العالم الفيديوية التي تتطلب تشغيل كل إطار مرة أخرى. تقنيًا، ينقسم إلى أربع مراحل: أولاً، باستخدام HY-Pano 2.0 لإنشاء صورة بانورامية 360 درجة من المدخلات، ثم باستخدام WorldNav لتخطيط المسار، ثم باستخدام WorldStereo 2.0 لتوسيع العالم على طول المسار، وأخيرًا باستخدام WorldMirror 2.0 لإعادة بناء جميع المقاطع المُنشأة إلى مشهد ثلاثي الأبعاد موحد. في الحلول المفتوحة المصدر، تصف Tencent HY-World 2.0 بأنه أول نموذج عالم ثلاثي الأبعاد يصل إلى مستوى SOTA، ويُقارن بأداء المنتجات التجارية المغلقة مثل Marble. ومع ذلك، حتى الآن، تم إصدار الكود والأوزان فقط لوحدة WorldMirror 2.0 (وهي وحدة إعادة البناء ثلاثية الأبعاد، حوالي 1.2 مليار معلمة)، بينما يُشار إلى أن كود وأوزان وحدات إنشاء الصور، تخطيط المسارات وتوسيع العالم ستصدر قريبًا. بالنسبة لمطوري الألعاب، هذا يعني إمكانية إنشاء نماذج أولية للمستويات والخرائط بسرعة بكلمة واحدة، مما يوفر الكثير من وقت النمذجة اليدوية. وللباحثين في الذكاء الجسدي، يقلل بشكل كبير من تكلفة توليد بيئات تدريب المحاكاة من الصور بكميات كبيرة. أطلقت Tencent أيضًا بوابة تجربة مباشرة للمستخدمين، حيث يمكنهم التحكم في الشخصيات لاستكشاف الشوارع والمباني المُنشأة بحرية. (المصدر: BlockBeats)