Дизайн разделения времени и тембра довольно интересен, наконец-то не придется слушать однообразные стандартные звуковые эффекты AI-озвучки, с нетерпением жду, когда попробую на практике.

Новости сайта Цифровой Мир: команда Xiaomi по разработке больших моделей выпустила и открыла исходный код фреймворка для генерации видео и звуков — ControlFoley. Основной акцент модели сделан на «контролируемости», она способна озвучивать кадры, а также принимать текстовые описания или эталонные аудиофайлы, позволяя звуку соответствовать замыслу создателя. ControlFoley использует основанный на модификации cav-mae пространственно-временной кодировщик видео и звука, а также внедряет стратегию «разделения времени и тембра», обеспечивая синхронность звука и изображения. Эта модель достигла уровня передовых решений с открытым исходным кодом в нескольких стандартных тестах озвучивания видео, технический отчет, код, веса модели и демонстрационные примеры уже доступны.