動察 Beating 監測によると、Google DeepMind はオープンソースのリアルタイム音楽生成モデル Magenta RealTime 2（略称 MRT2）を発表しました。新モデルは Apple チップ（M シリーズ）搭載の MacBook に最適化され、ローカルで超低遅延の動作をサポートします。ユーザーは MIDI 信号、テキストのプロンプト、または音声クリップを通じて、200ミリ秒未満の遅延でモデルを楽器としてリアルタイム演奏・制御できます。
ミュージシャンはさまざまなインタラクション方法で音楽生成を誘導できます。MIDI ガイドモードでは、伴奏システムが演奏者のコードに基づいて自動的に弦楽器などの伴奏を生成します。テキストから合成器モードでは、「disco funk」などのスタイル記述を入力するだけで演奏可能な MIDI 楽器を生成します。音声クローンモードでは、短い音声サンプルをドラッグするだけで、対応する音色を模倣します。音声生成プロセスは、低周波振動子、MIDI コントローラー、さらにはカメラ入力を用いた動的調整もサポートし、リアルタイムのサウンドデザインに豊かなインタラクションを提供します。
異なるハードウェア構成のニーズに応えるため、開発チームは2つの異なるパラメータ仕様のバージョンをリリースしました。2億3千万パラメータの mrt2_small バージョンは、MacBook Air を含むすべての Apple チップ搭載コンピュータでスムーズなリアルタイム推論を実現します。一方、24億パラメータの mrt2_base バージョンは高音質ですが、高性能な M シリーズ Pro または Max チップが必要で、リアルタイムの音声ストリーム合成を保証します。
現在、推論ライブラリ magenta-rt と C++ ベースの推論エンジン magentart::core は GitHub でオープンソース化されており、公式は macOS 上で直接動作可能なスタンドアロンアプリケーションとデジタルオーディオワークステーション（DAW）プラグインも提供しています。
3.45M 人気度
2.16M 人気度
54.04K 人気度
657.21M 人気度
1.36M 人気度
Googleは音楽モデルMagenta RealTime 2をリリース、Macのローカル遅延は200ミリ秒未満
動察 Beating 監測によると、Google DeepMind はオープンソースのリアルタイム音楽生成モデル Magenta RealTime 2（略称 MRT2）を発表しました。新モデルは Apple チップ（M シリーズ）搭載の MacBook に最適化され、ローカルで超低遅延の動作をサポートします。ユーザーは MIDI 信号、テキストのプロンプト、または音声クリップを通じて、200ミリ秒未満の遅延でモデルを楽器としてリアルタイム演奏・制御できます。
ミュージシャンはさまざまなインタラクション方法で音楽生成を誘導できます。MIDI ガイドモードでは、伴奏システムが演奏者のコードに基づいて自動的に弦楽器などの伴奏を生成します。テキストから合成器モードでは、「disco funk」などのスタイル記述を入力するだけで演奏可能な MIDI 楽器を生成します。音声クローンモードでは、短い音声サンプルをドラッグするだけで、対応する音色を模倣します。音声生成プロセスは、低周波振動子、MIDI コントローラー、さらにはカメラ入力を用いた動的調整もサポートし、リアルタイムのサウンドデザインに豊かなインタラクションを提供します。
異なるハードウェア構成のニーズに応えるため、開発チームは2つの異なるパラメータ仕様のバージョンをリリースしました。2億3千万パラメータの mrt2_small バージョンは、MacBook Air を含むすべての Apple チップ搭載コンピュータでスムーズなリアルタイム推論を実現します。一方、24億パラメータの mrt2_base バージョンは高音質ですが、高性能な M シリーズ Pro または Max チップが必要で、リアルタイムの音声ストリーム合成を保証します。
現在、推論ライブラリ magenta-rt と C++ ベースの推論エンジン magentart::core は GitHub でオープンソース化されており、公式は macOS 上で直接動作可能なスタンドアロンアプリケーションとデジタルオーディオワークステーション（DAW）プラグインも提供しています。