Alibaba publica patentes relacionadas con el entrenamiento de modelos de generación de video

La aplicación QiChaCha muestra que recientemente, Alibaba (China) Limited solicitó la publicación de la patente titulada “Método de generación de video, método de entrenamiento de modelo de generación de video y plataforma de tareas”.

La descripción de la patente indica que, en una implementación de este documento, se proporciona un método de generación de video, un método de entrenamiento de modelo de generación de video y una plataforma de tareas, donde el método de generación de video incluye: obtener una imagen de referencia y un audio de referencia, donde la imagen de referencia al menos contiene información visual del objeto de referencia; extraer las características visuales del objeto de referencia en función de la información visual en la imagen de referencia, y extraer las características de audio en función del audio de referencia; predecir, en función de las características visuales y las características de audio, la información de movimiento de referencia del objeto objetivo bajo la influencia de las características de audio, donde el objeto objetivo se obtiene en función del objeto de referencia; y, en función de la información de movimiento de referencia y del audio de referencia, generar el video correspondiente al objeto objetivo. Este método puede mejorar la coincidencia entre la información visual del objeto objetivo en el video y el audio correspondiente, mejorando así el efecto de presentación del video.