Google a publié le modèle musical Magenta RealTime 2, avec une latence locale sur Mac inférieure à 200 millisecondes

Selon le monitoring Beating, Google DeepMind a publié le modèle open source de génération musicale en temps réel Magenta RealTime 2 (abrégé MRT2).
Le nouveau modèle est optimisé pour les MacBook équipés de puces Apple (série M), supportant une exécution locale à très faible latence.
Les utilisateurs peuvent jouer et contrôler le modèle en temps réel en tant qu'instrument via des signaux MIDI, des instructions textuelles ou des extraits audio, avec une latence inférieure à 200 millisecondes.

Les musiciens peuvent guider la génération musicale par diverses méthodes d'interaction.
En mode guidage MIDI, le système d'accompagnement génère automatiquement des accompagnements tels que des orchestres en fonction des accords joués par l'interprète.
En mode synthèse de texte, l'utilisateur peut entrer des descriptions de style comme « disco funk » pour générer des instruments MIDI jouables.
En mode clonage audio, il suffit de glisser un court extrait audio pour que le système puisse simuler la tonalité correspondante.
Le processus de génération sonore supporte également la modulation dynamique via des oscillateurs basse fréquence, des contrôleurs MIDI ou même des entrées de caméra, offrant ainsi de riches dimensions d'interaction pour la conception sonore en temps réel.

Pour répondre aux besoins de différentes configurations matérielles, l'équipe de développement a lancé deux versions avec des paramètres différents.
La version mrt2_small, avec 230 millions de paramètres, peut réaliser une inférence en temps réel fluide sur tous les ordinateurs Apple équipés de puces, y compris le MacBook Air.
La version mrt2_base, avec 2,4 milliards de paramètres, offre une meilleure qualité sonore, mais nécessite une puce de la série Pro ou Max de la gamme M pour garantir la synthèse audio en temps réel.

Actuellement, la bibliothèque d'inférence magenta-rt et le moteur d'inférence basé sur C++ magentart::core sont tous deux open source sur GitHub, avec une application autonome et un plugin pour station de travail audio numérique (DAW) disponibles pour une utilisation directe sur macOS.
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
  • Récompense
  • Commentaire
  • Reposter
  • Partager
Commentaire
Ajouter un commentaire
Ajouter un commentaire
Aucun commentaire
  • Épinglé