Pemutusan waktu dan warna suara ini desainnya cukup menarik, akhirnya tidak perlu lagi mendengarkan efek suara kalengan AI yang monoton, menantikan untuk mencobanya secara langsung.

Berita dari Jièjiè Wang, tim aplikasi model besar Xiaomi merilis dan membuka sumber kerangka kerja pembuatan suara dan video ControlFoley. Model ini menekankan pada "keterkontrolan", mampu melakukan pengisi suara sesuai gambar, serta menerima deskripsi teks atau audio referensi, sehingga suara dapat dihasilkan sesuai niat pembuat. ControlFoley menggunakan encoder audio dan video ruang-waktu berbasis modifikasi cav-mae, dan memperkenalkan strategi "pemutusan waktu-warna suara", memastikan sinkronisasi suara dan gambar. Model ini mencapai tingkat SOTA sumber terbuka dalam beberapa pengujian pengisi suara video umum, laporan teknis proyek, kode, bobot model, dan demo semuanya telah dibuka.