谷歌發布音樂模型Magenta RealTime 2,Mac本地延遲低於200毫秒

據動察 Beating 監測,谷歌 DeepMind 發布了開源實時音樂生成模型 Magenta RealTime 2(簡稱 MRT2)。新模型專為蘋果芯片(M 系列)MacBook 優化,支持本地超低延遲運行。用戶可以通過 MIDI 信號、文本提示詞或音頻片段,在低於 200 毫秒的延遲下將模型作為樂器進行實時演奏與控制。

音樂家能通過多種交互方式引導音樂生成。在 MIDI 引導模式下,伴奏系統會自動根據演奏者彈奏的和弦生成管弦樂等組合伴奏。在文本轉合成器模式下,用戶輸入「disco funk」等風格描述即可生成可演奏的 MIDI 樂器。在音頻克隆模式下,用戶只需拖入一段簡短的音頻樣本,系統就能模擬出對應的音色。聲音生成過程還支持通過低頻振盪器、MIDI 控制器甚至攝像頭輸入進行動態調制,為實時聲音設計提供了豐富的交互維度。

為了滿足不同硬件配置的需求,開發團隊推出了兩種不同參數規格的版本。2.3 億參數的 mrt2_small 版本可以在包括 MacBook Air 在內的所有蘋果芯片電腦上實現流暢的實時推理,而 24 億參數的 mrt2_base 版本音質更高,但需要高階 M 系列 Pro 或 Max 芯片才能保證實時的音頻流合成。

目前,推理庫 magenta-rt 和基於 C++ 的推理引擎 magentart::core 均已在 GitHub 開源,官方同時提供了可在 macOS 上直接運行的獨立應用程序和數字音頻工作站(DAW)插件。
查看原文
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 打賞
  • 回覆
  • 轉發
  • 分享
回覆
請輸入回覆內容
請輸入回覆內容
暫無回覆