Il team di Adobe Research ha presentato Project Music GenAI Control, un tool ancora in fase sperimentale per la creazione e l’editing di audio personalizzato basato sull’AI generativa.
Grazie a un’interfaccia utente semplice è possibile creare e editare tracce audio inserendo prompt testuali, basandosi su una melodia di riferimento, regolare il tempo, la struttura e i pattern ripetitivi di una composizione musicale, scegliere quando aumentare e diminuire l’intensità dell’audio, prolungare la durata di una clip, remixare una sezione o generare un loop ripetibile in modo impeccabile.
Questo strumento secondo Adobe contribuirà a risolvere i problemi nel flusso di lavoro musicale, offrendo un controllo dettagliato simile a Photoshop per la creazione e l’editing musicali. Il progetto è sviluppato in collaborazione con università come UC San Diego e Carnegie Mellon University.
“Con Project Music GenAI Control, l’intelligenza artificiale generativa diventa il vostro co-creatore. Aiuta le persone a creare musica per i loro progetti, sia che si tratti di emittenti, sia che si tratti di podcaster, sia che si tratti di chiunque abbia bisogno di un audio che abbia l’atmosfera, la tonalità e la lunghezza giusti“, afferma Nicholas Bryan, Senior Research Scientist di Adobe Research e uno dei creatori di queste tecnologie.
Adobe non è certo nuova al campo dell’intelligenza artificiale: vanta un’esperienza decennale nell’innovazione dell’AI e Firefly, la famiglia di modelli di AI generativa di immagini dell’azienda, ne è un esempio. Firefly è stato utilizzato – sottolinea Adobe – per generare oltre 6 miliardi di immagini.
Inoltre, Adobe si impegna a garantire che la sua tecnologia sia sviluppata in linea con i principi etici dell’AI, ovvero responsabilità e trasparenza. Tutti i contenuti generati con Firefly includono automaticamente le Content Credentials (credenziali di contenuto), che sono delle “etichette informative” per i contenuti digitali che rimangono associate ai contenuti ovunque vengano utilizzati, pubblicati o archiviati.
I nuovi strumenti per la generazione e l’editing dell’audio, spiega Adobe, partono da un prompt di testo alimentato da un modello di intelligenza artificiale generativa, un metodo ampiamente adottato, e che Adobe utilizza già in Firefly. L’utente inserisce una richiesta come “rock potente“, ” dance allegro” o “jazz triste” per generare musica. Una volta che gli strumenti AI generano la musica, l’editing a grana fine viene integrato direttamente nel flusso di lavoro.
Con una semplice interfaccia utente, gli utenti possono trasformare l’audio generato in base a una melodia di riferimento; regolare il tempo, la struttura e gli schemi di ripetizione di un brano musicale; scegliere quando aumentare e diminuire l’intensità dell’audio; estendere la lunghezza di una clip; remixare una sezione; o generare un loop ripetibile senza soluzione di continuità.
Invece di tagliare manualmente la musica esistente per creare intro, outro e audio di sottofondo, Project Music GenAI Control potrebbe aiutare gli utenti a creare esattamente i brani di cui hanno bisogno, risolvendo i problemi del flusso di lavoro end-to-end.
“Uno degli aspetti più interessanti di questi nuovi strumenti è che non si limitano a generare l’audio, ma lo portano al livello di Photoshop, offrendo ai creativi lo stesso tipo di controllo profondo per modellare, regolare e modificare l’audio. È una sorta di controllo a livello di pixel per la musica“, spiega Bryan.
Project Music GenAI Control – sottolinea infine l’Adobe Research Team – è stato sviluppato in collaborazione con i ricercatori della University of California, San Diego, tra cui Zachary Novack, Julian McAuley e Taylor Berg-Kirkpatrick, e con quelli della School of Computer Science della Carnegie Mellon University, tra cui Shih-Lun Wu, Chris Donahue e Shinji Watanabe.
