この度のXiaomiのオープンソースであるControlFoleyはかなり誠意が感じられる。

Beating監測下、小米チームはオープンソースの動画音響フレームワークControlFoleyを開発し、可制御性を強調：映像、テキスト、または参照音声に基づいて音を生成し、声のスタイルを変更しながら音と映像の同期を維持できる。基盤にはCAV-MAEを改良した時空間音声映像符号化器を採用し、時間と音色のデカップリングを実現。マルチタスク評価はオープンソースのSOTAに達し、Kling-Foleyとの比較でも競争力を持つが、Kling-Audio-EvalやMovieGen-Audio-Benchの一部KL指標ではまだ差がある。プロジェクトは技術レポート、コード、重み、デモを公開済み。