Deep Learning for Dynamic Music Generation

Abstract

In the last decade, Deep Learning (DL) algorithms have been increasing their popularity in several fields such as computer vision, speech recognition, natural language processing and many others. DL models, however, are not limited to scientific domains as they have recently been applied to content generation in diverse art forms - both in the generation of novel content and as co-creative tools. Artificial music generation is one of the fields where DL architectures have been applied. They have been mostly used to create new compositions exhibiting promising results when compared to human compositions. Despite this, the majority of these artificial pieces lack some expression when compared to music compositions performed by humans. In this document, we propose a system capable of artificially generating expressive music compositions. Our main goal is to improve the quality of the musical compositions generated by the artificial system by exploring perceptually relevant musical elements such as note velocity and duration. In a primary analysis, the expressive compositions generated by our model present expressive variations that improve the dynamics of the piece, which can be verified by comparing non-expressive pieces with expressive ones (either in humans or in artificial compositions generated by our model).To assess this hypothesis we perform user tests. Our results suggest that expressive elements such as duration and velocity are key aspects in a music composition, making the ones that include these preferable to non-expressive ones.

Na última década, a popularidade dos algoritmos Deep Learning (DL) tem vindo a aumentar em diversos campos como a visão computacional, reconhecimento de fala, processamento de linguagem natural, entre muitos outros. No entanto, a aplicação de algoritmos DL não se limita a domínios científicos, tendo estes sido recentemente usados para geração de conteúdo em diversas formas artísticas - tanto na geração de conteúdo novo como ferramenta de auxílio criativo. A geração artificial de música é um dos campos artísticos onde arquitecturas DL têm vindo a ser aplicadas. Estas têm sido maioritariamente usadas para criar novas composições, revelando resultados promissores quando comparadas a composições humanas. Porém, a maioria destas músicas artificialmente geradas apresentam falta de expressividade comparativamente a músicas tocadas por humanos. Neste documento, propomos um sistema capaz de gerar artificialmente composições musicais expressivas. O nosso principal objetivo passa por melhorar a qualidade das músicas geradas pelo nosso sistema através da exploração de elementos musicais perceptivamente relevantes, como velocidade e duração. Numa primeira análise, as músicas expressivas geradas pelo modelo apresentam variações de expressividade que, conferindo uma dinâmica destacável aquando da comparação a músicas sem expressividade.Para avaliar esta hipótese, realizámos testes de utilizador. Os resultados obtidos sugerem que elementos expressivos como a velocidade e duração são fatores-chave numa composição musical, fazendo com que as músicas que incluam estes elementos sejam preferíveis a composições sem qualquer tipo de expressividade.