Alibaba anuncia patente relacionada ao treinamento de modelos de geração de vídeo

O aplicativo Qichacha mostra que, recentemente, a Alibaba (China) Co., Ltd. solicitou a divulgação da patente de “Método de geração de vídeo, método de treinamento de modelo de geração de vídeo e plataforma de tarefas”.

A descrição da patente indica que, na implementação deste exemplo, é fornecido um método de geração de vídeo, método de treinamento de modelo de geração de vídeo e plataforma de tarefas, onde o método de geração de vídeo inclui: obter uma imagem de referência e um áudio de referência, sendo que a imagem de referência pelo menos contém informações visuais do objeto de referência; extrair características visuais do objeto de referência com base nas informações visuais na imagem de referência, e extrair características de áudio com base no áudio de referência; prever, com base nas características visuais e nas características de áudio, uma informação de ação de referência do objeto alvo sob a influência das características de áudio, sendo que o objeto alvo é obtido com base no objeto de referência; gerar o vídeo correspondente ao objeto alvo com base na informação de ação de referência e no áudio de referência. Este método pode melhorar a correspondência entre as informações visuais do objeto alvo no vídeo e o áudio correspondente, aumentando assim a qualidade da apresentação do vídeo.