أعلنت Meta عن إطار عمل audio2photoreal الذكاء الاصطناعي ، والذي يمكنه إنشاء مشاهد حوار الشخصيات عن طريق إدخال ملفات الدبلجة

أعلنت Bit News Meta مؤخرا عن إطار عمل الذكاء الاصطناعي يسمى audio2photoreal ، وهو قادر على إنشاء سلسلة من نماذج شخصيات NPC الواقعية و "مزامنة الشفاه" تلقائيا و "وضع" نماذج الشخصيات بمساعدة ملفات التعليق الصوتي الموجودة.

أشار تقرير البحث الرسمي إلى أنه بعد استلام ملف الدبلجة ، سيقوم إطار عمل Audio2 photoreal أولا بإنشاء سلسلة من نماذج NPC ، ثم استخدام تقنية التكميم وخوارزمية الانتشار لإنشاء إجراءات النموذج ، حيث توفر تقنية التكميم مرجع عينة العمل للإطار ويتم استخدام خوارزمية الانتشار لتحسين تأثير إجراءات الشخصية الناتجة عن الإطار.

كان ثلاثة وأربعون بالمائة من المقيمين في التجربة الخاضعة للرقابة "راضين بشدة" عن مشاهد حوار الشخصيات الناتجة عن الإطار ، لذلك شعر الباحثون أن إطار Audio2 photoreal كان قادرا على توليد حركات "أكثر ديناميكية وتعبيرا" من المنتجات المنافسة في الصناعة. يذكر أن فريق البحث قد جعل الآن الكود ومجموعة البيانات ذات الصلة عامة على GitHub.