O Google lançou o modelo de música Magenta RealTime 2, com atraso local no Mac inferior a 200 milissegundos

De acordo com o monitoramento Beating, a Google DeepMind lançou o modelo de geração de música em tempo real de código aberto Magenta RealTime 2 (abreviado MRT2). O novo modelo foi otimizado para Macs com chip da Apple (série M), suportando execução local com latência ultrabaixa. Os usuários podem usar sinais MIDI, comandos de texto ou trechos de áudio para tocar e controlar o modelo em tempo real com uma latência inferior a 200 milissegundos.

Músicos podem orientar a geração de música através de várias formas de interação. No modo de orientação por MIDI, o sistema de acompanhamento gera automaticamente acompanhamentos como orquestrações com base nos acordes tocados pelo intérprete. No modo de sintetizador de texto, o usuário pode inserir descrições de estilo como "disco funk" para gerar instrumentos MIDI tocáveis. No modo de clonagem de áudio, basta arrastar uma amostra de áudio curta para que o sistema simule o timbre correspondente. O processo de geração de som também suporta modulação dinâmica via osciladores de baixa frequência, controladores MIDI ou até entrada de câmeras, oferecendo uma dimensão rica de interação para o design de som em tempo real.

Para atender às diferentes configurações de hardware, a equipe de desenvolvimento lançou duas versões com diferentes especificações de parâmetros. A versão mrt2_small, com 230 milhões de parâmetros, pode realizar inferências em tempo real de forma fluida em todos os computadores Apple com chip, incluindo MacBook Air. Já a versão mrt2_base, com 2,4 bilhões de parâmetros, oferece maior qualidade de áudio, mas requer chips Pro ou Max de alta gama da série M para garantir a síntese de fluxo de áudio em tempo real.

Atualmente, as bibliotecas de inferência magenta-rt e o motor de inferência baseado em C++ magentart::core já estão disponíveis como código aberto no GitHub, com uma aplicação independente e um plugin para estações de trabalho de áudio digital (DAW) que podem ser executados diretamente no macOS.
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
  • Recompensa
  • Comentar
  • Republicar
  • Partilhar
Comentar
Adicionar um comentário
Adicionar um comentário
Nenhum comentário
  • Fixado