A quebra de tecnologia de geração de vídeo por IA e as perspectivas de fusão com o Web3

Recentemente, o avanço mais notável no campo da IA é o avanço na tecnologia de geração de vídeo multimodal. Esta tecnologia evoluiu de uma simples geração de vídeo a partir de texto para uma tecnologia de geração de cadeia completa que integra texto, imagem e áudio.

Alguns avanços tecnológicos notáveis incluem:

1. Um framework EX-4D de código aberto de uma empresa de tecnologia pode transformar vídeos normais em conteúdos 4D de ângulo livre, com uma taxa de aceitação dos usuários de 70,7%. Esta tecnologia torna possível gerar automaticamente efeitos de visualização em múltiplos ângulos a partir de um único vídeo, algo que no passado exigia uma equipe profissional de modelagem 3D.

2. Uma plataforma de IA afirma ser capaz de gerar um vídeo de 10 segundos com qualidade "cinematográfica" a partir de uma única imagem. O efeito específico ainda precisa ser confirmado após a atualização da sua versão profissional.

3. Uma renomada instituição de pesquisa em IA lançou uma nova tecnologia que pode gerar simultaneamente vídeo 4K e áudio ambiente. A chave para essa tecnologia está na realização de uma verdadeira correspondência em nível semântico, superando o desafio da sincronização de áudio e imagem em cenários complexos.

4. A tecnologia de geração de vídeo AI de uma determinada plataforma de vídeos curtos tem 80 bilhões de parâmetros, conseguindo gerar vídeos em 1080p em 2,3 segundos, com um custo de cerca de 3,67 yuan/5 segundos. Embora o controle de custos seja bom, ainda há espaço para melhorar a qualidade de geração em cenários complexos.

Esses avanços tecnológicos têm um significado significativo em termos de qualidade de vídeo, custo de geração e cenários de aplicação. Do ponto de vista técnico, a complexidade da geração de vídeo multimodal é exponencial. Não só requer o processamento de uma quantidade massiva de pontos de pixel, mas também deve garantir a coerência temporal, a sincronização de áudio e a consistência do espaço 3D. Atualmente, através da decomposição modular e da colaboração entre grandes modelos, essas tarefas complexas são realizadas.

Em termos de custos, a otimização da arquitetura de inferência, incluindo estratégias de geração em camadas, mecanismos de reutilização de cache e alocação dinâmica de recursos, reduziu significativamente o custo de geração de vídeo.

Esses avanços tecnológicos trouxeram um enorme impacto para a indústria de produção de vídeo tradicional. A tecnologia de IA simplificou o processo de produção de vídeo, que anteriormente exigia muitos equipamentos, espaço, mão de obra e tempo, para apenas alguns minutos de espera, ao mesmo tempo que consegue alcançar efeitos que seriam difíceis de obter com a filmagem tradicional. Isso pode desencadear uma nova rodada de reorganização na economia dos criadores.

Então, qual é a relação entre os avanços dessas tecnologias de IA do Web2 e a IA do Web3?

Primeiro, a estrutura da demanda de poder computacional mudou. A geração de vídeos multimodais requer uma combinação diversificada de poder computacional, o que cria novas oportunidades para o poder computacional ocioso distribuído.

Em segundo lugar, a demanda por anotação de dados profissionais tem aumentado. A geração de vídeos de alta qualidade requer descrições de cena precisas, imagens de referência, estilos de áudio e outros dados profissionais. O mecanismo de incentivo do Web3 pode atrair profissionais a fornecer materiais de dados de alta qualidade.

Por fim, a tecnologia de IA evolui de uma alocação centralizada de recursos em grande escala para uma colaboração modular, o que por si só representa uma nova demanda por plataformas descentralizadas. No futuro, a computação, os dados, os modelos e os mecanismos de incentivo podem formar um ciclo virtuoso de auto-reforço, promovendo a fusão profunda entre cenários de IA Web3 e IA Web2.