Alibaba оголосила патенти, пов’язані з навчанням моделі для генерації відео

iFind APP показує, що нещодавно компанія Alibaba (Китай) Ltd подала заявку на публікацію патенту «Метод генерації відео, метод навчання моделі генерації відео та платформа для виконання завдань».

Анотація патенту показує, що в цьому прикладі реалізації описується метод генерації відео, метод навчання моделі генерації відео та платформа для виконання завдань, зокрема, метод генерації відео включає: отримання зразкового зображення та зразкового аудіо, причому, зразкове зображення містить принаймні візуальну інформацію про зразковий об’єкт; витягування візуальних характеристик зразкового об’єкта на основі візуальної інформації у зразковому зображенні, а також витягування аудіо характеристик з зразкового аудіо; прогнозування інформації про цільову дію об’єкта під впливом аудіо характеристик на основі взаємодії між візуальними та аудіо характеристиками, причому цільовий об’єкт отримується на основі зразкового об’єкта; на основі інформації про зразкову дію та зразкового аудіо генерується відео, що відповідає цільовому об’єкту. Використання цього методу може підвищити ступінь відповідності між візуальною інформацією цільового об’єкта у відео та відповідним аудіо, відповідно покращуючи ефект відтворення відео.