Alibaba объявила о патентах, связанных с обучением модели генерации видео

Приложение Qichacha показывает, что в последнее время Alibaba (Китай) Co., Ltd. подала и опубликовала заявку на патент «Метод генерации видео, метод обучения модели генерации видео и задачная платформа».

Согласно аннотации к патенту, реализация данного описания предоставляет способ генерации видео, метод обучения модели генерации видео и задачную платформу, при этом способ генерации видео включает: получение опорного изображения и опорной аудиозаписи, при этом опорное изображение по меньшей мере содержит визуальную информацию опорного объекта; выделение визуальных признаков опорного объекта на основе указанной визуальной информации в опорном изображении и извлечение аудиопризнаков на основе указанной опорной аудиозаписи; прогнозирование информационных данных о справочных движениях целевого объекта под влиянием указанных аудиопризнаков на основе свойств взаимодействия между указанными визуальными признаками и указанными аудиопризнаками, где указанный целевой объект получен на основе указанного опорного объекта; генерацию видео, соответствующего указанному целевому объекту, на основе указанных данных о справочных движениях и указанной опорной аудиозаписи. Использование данного способа позволяет повысить степень согласования визуальной информации целевого объекта в видео с соответствующей аудиозаписью, а также, соответственно, улучшить эффект представления видео.