Переход с wav2vec2 на whisper-large-v3 значительно повысил устойчивость мультиязычной синхронизации губ, важно четко различать границу между академическим и коммерческим использованием

Посмотреть Оригинал
CoinNetwork
Meituan открыла исходный код LongCat-Video-Avatar 1.5 — фреймворк цифрового человека, сокращённый до 8 шагов вывода
Команда Meituan Changmao открыла исходный код LongCat-Video-Avatar 1.5, переработав генерацию аудио и видео для повышения временно-пространственной стабильности и скорости вывода. Заменив wav2vec2 на whisper-large-v3, улучшена синхронизация губ и устойчивость к нескольким языкам; с помощью обучения с усилением GRPO снижены артефакты рук и ошибки кадров, укреплена идентичность в длинных видео. Используются многофрагментное скользящее рассуждение и предварительный контекст, 8-шаговая дистилляция DMD2 балансирует эффективность и точность. Фреймворк может быть обобщен на стили анимации/животных, поддерживает моно/многоканальный звук, лицензия MIT, в основном для академического использования, для коммерческого использования уточняйте.
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • комментарий
  • Репост
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
Нет комментариев
  • Закреплено