Google phát hành mô hình âm nhạc Magenta RealTime 2, độ trễ cục bộ trên Mac dưới 200 mili giây

Theo giám sát Beating, Google DeepMind đã phát hành mô hình tạo nhạc trực tiếp mã nguồn mở Magenta RealTime 2 (viết tắt là MRT2). Mô hình mới được tối ưu hóa cho chip Apple (dòng M) của MacBook, hỗ trợ chạy cục bộ với độ trễ cực thấp. Người dùng có thể sử dụng tín hiệu MIDI, lời nhắc văn bản hoặc đoạn âm thanh để điều khiển mô hình như một nhạc cụ trong thời gian thực với độ trễ dưới 200 mili giây.

Nhạc sĩ có thể hướng dẫn quá trình tạo nhạc qua nhiều phương thức tương tác khác nhau. Trong chế độ hướng dẫn bằng MIDI, hệ thống đệm sẽ tự động tạo các phần đệm phối hợp như hòa tấu dựa trên hợp âm do người chơi đàn phát ra. Trong chế độ chuyển đổi văn bản thành hợp âm, người dùng chỉ cần nhập mô tả phong cách như «disco funk» để tạo ra các nhạc cụ MIDI có thể chơi được. Trong chế độ sao chép âm thanh, người dùng chỉ cần kéo thả một đoạn mẫu âm thanh ngắn, hệ thống sẽ mô phỏng ra âm sắc tương ứng. Quá trình tạo âm thanh còn hỗ trợ điều chế động qua bộ dao động tần số thấp, bộ điều khiển MIDI hoặc thậm chí đầu vào từ camera, mang lại nhiều chiều tương tác phong phú cho thiết kế âm thanh trực tiếp.

Để đáp ứng nhu cầu của các cấu hình phần cứng khác nhau, nhóm phát triển đã phát hành hai phiên bản với các thông số khác nhau. Phiên bản mrt2_small với 2,3 tỷ tham số có thể thực hiện suy luận trực tiếp mượt mà trên tất cả các máy tính Apple chạy chip M, bao gồm cả MacBook Air. Trong khi đó, phiên bản mrt2_base với 24 tỷ tham số có chất lượng âm thanh cao hơn, nhưng yêu cầu chip dòng Pro hoặc Max cao cấp của dòng M để đảm bảo tổng hợp âm thanh trực tiếp thời gian thực.

Hiện tại, thư viện suy luận magenta-rt và engine suy luận dựa trên C++ mang tên magentart::core đã được mở mã nguồn trên GitHub, đồng thời chính thức cung cấp các ứng dụng độc lập chạy trực tiếp trên macOS và plugin cho phần mềm làm việc âm thanh kỹ thuật số (DAW).
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • Bình luận
  • Đăng lại
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
Không có bình luận
  • Đã ghim