Plug and play, perfectamente compatible: el plug-in de imagen y vídeo I2V Adapter de la comunidad SD ya está aquí

Recientemente, se publicó un nuevo resultado de investigación dirigido por Kuaishou, "I2V-Adapter: A General Image-to-Video Adapter for Video Diffusion Models", que introdujo un innovador método de conversión de imagen a video y propuso un módulo adaptador liviano, a saber: I2V-Adapter, que convierte imágenes estáticas en vídeos dinámicos sin cambiar la estructura original y los parámetros preentrenados de los modelos existentes de generación de texto a vídeo (T2V).

En comparación con los métodos existentes, el adaptador I2V reduce significativamente los parámetros entrenables (hasta 22 M, que es la solución principal, como la difusión de video estable [1][2] del 1%), que también es compatible con Stable Diffusion [3] Modelo T2I personalizado desarrollado por la comunidad (DreamBooth [4]Lora [5]) y herramientas de control (ControlNet Compatibilidad. A través de experimentos, los investigadores han demostrado la eficacia del adaptador I2V en la generación de contenido de vídeo de alta calidad, abriendo nuevas posibilidades para aplicaciones creativas en el campo de I2V.