Menurut pemantauan Beating, Google DeepMind merilis model generasi musik real-time sumber terbuka Magenta RealTime 2 (disingkat MRT2). Model baru ini dioptimalkan khusus untuk MacBook dengan chip Apple (seri M), mendukung operasi lokal dengan latensi sangat rendah. Pengguna dapat menggunakan sinyal MIDI, petunjuk teks, atau fragmen audio, dan menjalankan model sebagai alat musik secara real-time dengan latensi di bawah 200 milidetik.

Musisi dapat membimbing pembuatan musik melalui berbagai cara interaksi. Dalam mode panduan MIDI, sistem pengiring secara otomatis menghasilkan pengiring seperti orkestra berdasarkan akor yang dimainkan oleh pemain. Dalam mode pengonversi teks ke suara, pengguna cukup memasukkan deskripsi gaya seperti "disco funk" untuk menghasilkan instrumen MIDI yang dapat dimainkan. Dalam mode kloning audio, pengguna cukup menyeret sampel audio singkat, dan sistem dapat meniru suara yang sesuai. Proses pembuatan suara juga mendukung modulasi dinamis melalui osilator frekuensi rendah, pengontrol MIDI, bahkan input dari kamera, memberikan dimensi interaksi yang kaya untuk desain suara real-time.

Untuk memenuhi kebutuhan berbagai konfigurasi perangkat keras, tim pengembang meluncurkan dua versi dengan parameter berbeda. Versi mrt2_small dengan 230 juta parameter dapat menjalankan inferensi real-time yang lancar di semua komputer Apple termasuk MacBook Air. Sedangkan versi mrt2_base dengan 2,4 miliar parameter memiliki kualitas suara yang lebih tinggi, tetapi memerlukan chip seri Pro atau Max dari seri M tingkat tinggi untuk memastikan sintesis aliran audio secara real-time.

Saat ini, pustaka inferensi magenta-rt dan mesin inferensi berbasis C++ magentart::core telah dirilis secara sumber terbuka di GitHub, dan resmi menyediakan aplikasi mandiri yang dapat langsung dijalankan di macOS serta plugin Digital Audio Workstation (DAW).

Lihat Asli

Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.

Hadiah
suka
Komentar
Posting ulang
Bagikan

Komentar

Tambahkan komentar

Tidak ada komentar

Topik Trending
Lihat Lebih Banyak
#
ShareYourUSStocksWinNvidia
3.45M Popularitas
#
PredictNBAChampionWin20000U
2.17M Popularitas
#
IsraelStrikesIranBTCPlunges
54.1K Popularitas
#
BitcoinETFSees7272BTCOutflow
657.21M Popularitas
#
SpaceXRoadshowHighlightsAsteroidMining
1.36M Popularitas

Disematkan

peta situs

Google merilis model musik Magenta RealTime 2, latensi lokal di Mac kurang dari 200 milidetik

Topik Trending

ShareYourUSStocksWinNvidia

PredictNBAChampionWin20000U

IsraelStrikesIranBTCPlunges

BitcoinETFSees7272BTCOutflow

SpaceXRoadshowHighlightsAsteroidMining

Disematkan