Google lanza el modelo de música Magenta RealTime 2, con una latencia local en Mac inferior a 200 milisegundos

Según el monitoreo de Beating, Google DeepMind lanzó el modelo de generación de música en tiempo real de código abierto Magenta RealTime 2 (abreviado MRT2).
El nuevo modelo está optimizado para MacBooks con chips de la serie M, soportando ejecución local de latencia ultrabaja.
Los usuarios pueden usar señales MIDI, instrucciones de texto o fragmentos de audio para tocar y controlar el modelo en tiempo real con una latencia inferior a 200 milisegundos.

Los músicos pueden guiar la generación de música a través de varias formas de interacción.
En modo de guía MIDI, el sistema de acompañamiento generará automáticamente acompañamientos orquestales u otros arreglos basados en los acordes tocados por el intérprete.
En modo de sintetizador de texto a música, los usuarios pueden ingresar descripciones de estilo como «disco funk» para generar instrumentos MIDI interpretables.
En modo de clonación de audio, los usuarios solo necesitan arrastrar un breve fragmento de audio, y el sistema podrá simular el tono correspondiente.
El proceso de generación de sonido también soporta modulación dinámica mediante osciladores de baja frecuencia, controladores MIDI e incluso entradas de cámara, proporcionando dimensiones de interacción ricas para el diseño de sonido en tiempo real.

Para satisfacer diferentes configuraciones de hardware, el equipo de desarrollo lanzó dos versiones con diferentes especificaciones de parámetros.
La versión mrt2_small con 230 millones de parámetros puede realizar inferencias en tiempo real de manera fluida en todos los ordenadores con chips de Apple, incluido el MacBook Air.
La versión mrt2_base con 2.4 mil millones de parámetros ofrece mayor calidad de sonido, pero requiere chips Pro o Max de la serie M de gama alta para garantizar la síntesis de audio en tiempo real.

Actualmente, las bibliotecas de inferencia magenta-rt y el motor de inferencia basado en C++ magentart::core ya están disponibles en GitHub como código abierto, y la compañía también proporciona una aplicación independiente y un plugin para estaciones de trabajo de audio digital (DAW) que se pueden ejecutar directamente en macOS.
Ver original
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
  • Recompensa
  • Comentar
  • Republicar
  • Compartir
Comentar
Añadir un comentario
Añadir un comentario
Sin comentarios
  • Fijado