Google випустила музичну модель Magenta RealTime 2, затримка на Mac локально менше 200 мілісекунд

Згідно з моніторингом Beating, Google DeepMind випустила відкриту модель для реального часу музичного генерування Magenta RealTime 2 (скорочено MRT2). Нова модель оптимізована для MacBook з чипами Apple (серії M), підтримує локальне надзвичайно низьке затримання при роботі. Користувачі можуть за допомогою MIDI-сигналів, текстових підказок або аудіо фрагментів у режимі з затримкою менше 200 мілісекунд використовувати модель як інструмент для живого виконання та керування.

Музиканти можуть керувати генерацією музики різними способами взаємодії. У режимі керування через MIDI система акомпанементу автоматично створює оркестрові та інші акомпанементи на основі акордів, що грає виконавець. У режимі текстового синтезатора достатньо ввести опис стилю, наприклад «disco funk», щоб згенерувати MIDI-інструменти, готові до виконання. У режимі клонування аудіо користувач просто перетягує короткий аудіо зразок, і система може імітувати відповідний тембр. Процес створення звуку також підтримує динамічне модуляцію за допомогою низькочастотних осциляторів, MIDI-контролерів або навіть вхідних даних з камери, що забезпечує багатий рівень взаємодії для створення звуку в реальному часі.

Щоб задовольнити потреби різного апаратного забезпечення, команда розробників випустила дві версії з різними параметрами. Версія mrt2_small з 2,3 мільярдами параметрів може забезпечити плавне реальне виконання на всіх комп’ютерах Apple з чипами, включаючи MacBook Air. Версія mrt2_base з 24 мільярдами параметрів має вищу якість звуку, але вимагає високопродуктивних чипів серії M Pro або Max для забезпечення реального часу при синтезі аудіо.

Зараз бібліотеки для обчислень magenta-rt та рушій для обчислень на базі C++ magentart::core вже відкриті на GitHub, а також офіційно доступні окремі додатки для macOS та плагіни для цифрових аудіо робочих станцій (DAW).
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • Прокоментувати
  • Репост
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
Немає коментарів
  • Закріплено