O design de desacoplamento de tempo e timbre é bastante interessante, finalmente não precisamos mais ouvir efeitos de voz padrão e monótonos de IA, estou ansioso para experimentar na prática.

Notícias do CoinWorld: a equipe de aplicação do grande modelo da Xiaomi lançou e open-souceou a estrutura de geração de vídeo e efeitos sonoros ControlFoley.
O foco deste modelo é a «controlabilidade», capaz de fazer a dublagem de acordo com as imagens, bem como aceitar descrições em texto ou áudio de referência, permitindo que o som seja gerado de acordo com a intenção do criador.
ControlFoley utiliza um codificador de áudio e vídeo espaço-temporal baseado na modificação do cav-mae, e introduz uma estratégia de «desacoplamento de tempo e tom», garantindo a sincronização do som com as imagens.
Este modelo atingiu o nível SOTA de código aberto em vários testes de dublagem de vídeos convencionais, e o relatório técnico, código, pesos do modelo e demonstrações do projeto já estão disponíveis ao público.