MERGE Lyrics: Music Emotion Recognition next Generation – Lyrics Classification with Deep Learning

Abstract

Music has become a key aspect of the everyday life for most individuals, this industry is constantly growing and from there comes the need to develop systems that can automate the organisation and partitioning of music pieces in different categories. One way to do this is by extracting emotion from lyrics. For years researchers have attempted to determine perceived emotion from music with the aid of Classical Machine Learning (ML) algorithms, providing us good yet not great state of the art results of 77.1% F1-Score in Lyrics-based Music Emotion Recognition (LMER) and 67.4% F1-Score in Lyrics Emotion Variation Detection (LEVD). Deep Learning (DL) approaches have become popular in the LMER field as researchers attempt to surpass traditional methods. We proposed a DL approach to this problem, using the existing 951 lyrics LMER dataset, which reached an F1-Score of 88.9% and consisted on a pre-trained model (BERT). This work also assesses LEVD in which an F1-Score of 85.3% was achieved by applying concepts such as Natural Language Processing (NLP) data augmentation and Long Short Term Memory (LSTM) models. Other models such as dense neural networks (DNN) and convolutional neural networks (CNN) are also targeted in our experiments and explored in depth. This research contributed to the improvement of our knowledge in DL approaches which enhanced the previously achieved classical ML results and proved beneficial to the better understanding of the limitations the data available imposes.

A música tornou-se um aspecto fundamental da vida quotidiana para a maioria dos indivíduos, esta indústria está em constante crescimento e daí surge a necessidade de desenvolver sistemas que possam automatizar a organização e particionamento de peças musicais em diferentes categorias. Uma maneira de fazer isso é extrair emoção das letras. Durante anos, os pesquisadores tentaram determinar a emoção percebida da música com a ajuda de algoritmos de Aprendizado de Máquina Clássico (ML), fornecendo resultados bons, mas não excelentes, de 77,1% F1-Score no reconhecimento de emoções musicais baseado em letras (LMER) e 67,4% F1-Score em Lyrics Emotion Variation Detection (LEVD). As abordagens de Deep Learning (DL) tornaram-se populares no campo LMER à medida que os pesquisadores tentam superar os métodos tradicionais. Propusemos uma abordagem DL para este problema, usando o conjunto de dados LMER de 951 letras de letras existente, que atingiu um F1-Score de 88,9% e consistiu em um modelo pré-treinado (BERT). Este trabalho também avalia o LEVD em que um F1-Score de 85,3% foi alcançado aplicando conceitos como aumento de dados de Processamento de Linguagem Natural (NLP) e modelos de Long Short Term Memory (LSTM). Outros modelos como redes neurais densas (DNN) e redes neurais convolucionais (CNN) também são alvo de nossos experimentos e explorados em profundidade. Esta pesquisa contribuiu para o aprimoramento de nosso conhecimento em abordagens de EAD, o que aprimorou os resultados de ML clássicos anteriormente alcançados e se mostrou benéfico para o melhor entendimento das limitações que os dados disponíveis impõem.