O design de desacoplamento de tempo e timbre é bastante interessante, finalmente não precisamos mais ouvir aquele efeito de voz de IA padronizado e repetitivo, estou ansioso para experimentar na prática.

Notícias do Coinjie.com, a equipe do grande modelo da Xiaomi lançou e open source o framework de geração de vídeo e efeitos sonoros ControlFoley. O foco do modelo é a «controlabilidade», capaz de dublar de acordo com as imagens, além de aceitar descrições em texto ou áudio de referência, permitindo que o som seja gerado conforme a intenção do criador. O ControlFoley utiliza um codificador de áudio e vídeo espaço-temporal baseado em uma versão modificada do cav-mae, e introduz a estratégia de «desacoplamento de tempo e tom», garantindo a sincronização entre som e imagem. O modelo atingiu o nível SOTA de código aberto em vários testes de dublagem de vídeos convencionais, e o relatório técnico, código, pesos do modelo e demonstração já estão disponíveis.