Modelo de geração de vídeo Tongyi Wan2.7-Video lançado: suporta entrada multimodal completa de texto, imagem, vídeo e áudio

Technologia do Phoenix.com, 3 de Abril. Recentemente, o modelo de geração de vídeo Wan2.7-Video foi oficialmente lançado. Este modelo suporta entradas multimoedais de texto, imagem, vídeo e áudio, com foco nas capacidades de edição e alteração após a geração de vídeo, com o objectivo de permitir que o conteúdo de vídeo seja editável como se fosse um documento.

No que diz respeito à edição de vídeo, a Wan2.7 suporta ajustes localizados do enquadramento através de instruções, sem necessidade de regenerar o segmento completo. As funcionalidades específicas incluem: adicionar e remover elementos (como “remover o comboio do vídeo”); substituir objectos (como “trocar o filme por um prato”); modificar atributos dos objectos (como “alterar a cor do edifício”); suporta também a adição precisa com base no conteúdo de imagens de referência. Ao nível do ambiente e do estilo, pode-se manter as acções das personagens inalteradas e, ainda assim, mudar a estação do fundo do verão para o fim do outono, ou converter de uma só vez para estilos artísticos como feltro de lã. Além disso, também suporta a melhoria da qualidade da imagem do vídeo (como colorir a preto e branco), tarefas de compreensão visual (como segmentar o sujeito) e ajustes do método de filmagem (como modificar o foco).

No que se refere à alteração de enredos, a Wan2.7 permite modificar as falas das personagens, os movimentos e até o ângulo de filmagem, sem alterar a identidade original e o cenário. A modificação das falas pode manter a emoção, a sincronia labial e o timbre de voz unificados; a modificação dos movimentos, como “a rapariga sentada no sofá passa a estar em pé a jogar jogos”. No nível da história, é possível substituir a personagem do jogador por um cavaleiro medieval, mantendo ao mesmo tempo a postura original de segurar. Parâmetros como o ponto de vista da câmara, o tipo de enquadramento, o tipo de lente e a distância focal podem ser ajustados via instruções, por exemplo “alterar a lente para elevar-se gradualmente a partir do chão”. Estas funcionalidades visam reduzir o patamar técnico da criação secundária de vídeo, oferecendo aos criadores meios de controlo mais flexíveis.

(Editor: Dong Pingping)

     【Aviso Legal】Este artigo representa apenas as opiniões do autor, não tem qualquer relação com a Hexun. O site da Hexun mantém neutralidade relativamente às declarações e julgamentos de opinião apresentados no texto, e não fornece quaisquer garantias expressas ou implícitas quanto à exactidão, fiabilidade ou integridade de qualquer conteúdo incluído. Pede-se aos leitores que se utilizem apenas para referência e que assumam toda a responsabilidade por conta própria. Email: news_center@staff.hexun.com

Denunciar