Google выпустила музыкальную модель Magenta RealTime 2, задержка на Mac локально менее 200 миллисекунд

По данным мониторинга Beating, Google DeepMind выпустила открытый исходный код модели для генерации музыки в реальном времени Magenta RealTime 2 (сокращенно MRT2). Новая модель специально оптимизирована для MacBook с чипами Apple (серии M), поддерживая локальное выполнение с очень низкой задержкой. Пользователи могут управлять моделью в реальном времени как инструментом, используя MIDI-сигналы, текстовые подсказки или аудиофрагменты, с задержкой менее 200 миллисекунд.

Музыканты могут взаимодействовать с системой различными способами для направления генерации музыки. В режиме MIDI-руководства автоматическая система аккомпанемента будет генерировать оркестровые и другие ансамблевые сопровождения на основе сыгранных аккордов. В режиме текстового синтезатора пользователь вводит описание стиля, например «disco funk», и система создает воспроизводимый MIDI-инструмент. В режиме клонирования аудио достаточно перетащить короткий аудиофрагмент, и система сможет имитировать соответствующий тембр. Процесс генерации звука также поддерживает динамическую модуляцию с помощью низкочастотных осцилляторов, MIDI-контроллеров или даже входов с камеры, что расширяет возможности для интерактивного дизайна звука.

Для удовлетворения потребностей различных аппаратных конфигураций команда разработчиков выпустила две версии с разными параметрами. Версия mrt2_small с 230 миллионами параметров может обеспечивать плавное выполнение в реальном времени на всех компьютерах Apple, включая MacBook Air. Версия mrt2_base с 2,4 миллиардами параметров обладает более высоким качеством звука, но требует мощных чипов серии M Pro или Max для обеспечения синхронной генерации аудиопотока в реальном времени.

В настоящее время библиотеки для выполнения inference magenta-rt и движок на базе C++ magentart::core уже доступны как открытый исходный код на GitHub. Официально также предоставлены отдельные приложения для macOS и плагины для цифровых аудиоработных станций (DAW), которые можно запускать напрямую.
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • комментарий
  • Репост
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
Нет комментариев
  • Закреплено