I ricercatori sviluppano una tecnologia di generazione di testi in tempo reale per ispirare la scrittura di canzoni

65

Gli artisti musicali possono trovare ispirazione e nuove direzioni creative per la loro composizione con la tecnologia sviluppata dai ricercatori di Waterloo.

LyricJam, un sistema in tempo reale che utilizza l’intelligenza artificiale (AI) per generare linee di testo per la musica strumentale dal vivo, è stato creato dai membri del Natural Language Processing Lab dell’università.

Il laboratorio, guidato da Olga Vechtomova, professoressa di Waterloo Engineering con incarichi incrociati in Informatica, ha studiato applicazioni creative dell’IA per diversi anni.




Il lavoro iniziale del laboratorio ha portato alla creazione di un sistema che apprende le espressioni musicali degli artisti e genera testi nel loro stile.

Recentemente, Vechtomova, insieme agli studenti laureati di Waterloo Gaurav Sahu e Dhruv Kumar, ha sviluppato una tecnologia che si basa su vari aspetti della musica come progressioni di accordi, tempo e strumentazione per sintetizzare testi che riflettono l’umore e le emozioni espresse dalla musica dal vivo .

La ricercatrice capo Olga Vechtomova dimostra come LyricJam genera linee liriche per la musica strumentale dal vivo. Credito: Olga Vechtomova, professoressa di ingegneria dell’Università di Waterloo nominata in modo incrociato in Informatica

Quando un musicista o una band suona musica strumentale, il sistema riceve continuamente le clip audio grezze, che la rete neurale elabora per generare nuove linee di testo. Gli artisti possono quindi utilizzare le linee per comporre i propri testi delle canzoni.

“Lo scopo del sistema non è scrivere una canzone per l’ artista”, spiega Vechtomova. “Invece, vogliamo aiutare gli artisti a realizzare la propria creatività. Il sistema genera linee poetiche con nuove metafore ed espressioni, guidando potenzialmente gli artisti in direzioni creative che non hanno mai esplorato prima”.




La rete neurale progettata dai ricercatori apprende quali temi lirici, parole e dispositivi stilistici sono associati ai diversi aspetti della musica catturati in ogni clip audio. Ad esempio, i ricercatori hanno osservato che i testi generati per la musica ambient sono molto diversi da quelli per la musica allegra .

Il team di ricerca ha condotto uno studio sugli utenti, invitando i musicisti a suonare strumenti dal vivo durante l’utilizzo del sistema. “Una scoperta inaspettata è stata che i partecipanti si sono sentiti incoraggiati dalle linee generate a improvvisare”, ha detto Vechtomova.

“Ad esempio, le linee hanno ispirato gli artisti a strutturare gli accordi in modo leggermente diverso e a portare la loro improvvisazione in una nuova direzione rispetto a quanto originariamente previsto. Alcuni musicisti hanno anche utilizzato le linee per verificare se la loro improvvisazione avesse avuto l’effetto emotivo desiderato”.

Un altro risultato dello studio ha evidenziato l’aspetto co-creativo dell’esperienza. I partecipanti hanno commentato che hanno visto il sistema come un partner di jamming acritico e si sono sentiti incoraggiati a suonare i loro strumenti musicali anche se non stavano attivamente cercando di scrivere testi.

Da quando LyricJam è stato pubblicato nel giugno di quest’anno, oltre 1.500 utenti in tutto il mondo l’hanno provato. La ricerca del team, che sarà presentata alla International Conference on Computations Creativity questo settembre, è stata pre-pubblicata su arXiv.