Emotion-based Analysis and Classification of Music Lyrics

Abstract

O reconhecimento de emoções a partir da música (Music Emotion Recognition – MER) está a ser alvo de uma atenção cada vez mais significativa por parte da comunidade científica que se dedica à Recuperação de Informação Musical (Music Information Retrieval). De facto, a pesquisa de música através de emoções é um dos tipos de pesquisa mais efetuados hoje em dia pelos utilizadores. Bases de dados musicais de sites como o AllMusic ou o Last.fm crescem grandemente todos os dias, o que requer uma enorme quantidade de trabalho para as manter atualizadas no que concerne ao processo de catalogação. Infelizmente, a anotação manual de música com etiquetas emocionais é normalmente um processo muito subjetivo e moroso. Isto pode ser ultrapassado com a utilização de sistemas de reconhecimento automático. Além de classificação automática de música, o MER tem várias outras aplicações como recomendação de música, geração automática de playlists, desenvolvimento de jogos, cinema, publicidade e saúde. Muitos dos primeiros sistemas automáticos de MER eram baseados apenas na análise do áudio. Estudos mais recentes passaram a combinar as duas dimensões (áudio e letra da música) conduzindo a análises bi-modais que melhoraram a eficácia dos sistemas MER. Esta investigação foca-se em primeiro lugar no papel das letras musicais no processo de MER. A extração de características (feature extraction) é uma das etapas mais importantes no processo de MER a partir das letras. A nossa abordagem é baseada em aprendizagem e utiliza grande parte das características utilizadas no estado de arte complementadas por novas características estilísticas, estruturais e semânticas propostas por nós. Para avaliar a nossa abordagem, criámos um corpus contendo 180 letras de música anotadas de acordo com o modelo emocional de Russell. Realizámos quatro tipos de experimentos: regressão e classificação por quadrantes de emoções, por grau de valência (valence) e por grau de ativação (arousal). Para validar, criámos um corpus de validação composto por 771 letras de música anotadas através do mesmo modelo de Russell. Para estudar a relação entre características das letras e as emoções (quadrantes), realizámos experimentos para identificar as melhores características que permitem descrever e discriminar cada quadrante. Conduzimos ainda experimentos para identificar regras interpretáveis que mostrem a relação entre características e emoções e entre características entre si. Esta investigação foca-se ainda no papel das letras em contexto de deteção de variação de emoções na música. Para tal, criámos um sistema para detetar a emoção predominante transmitida por cada frase ou verso da letra. O sistema utiliza o mesmo modelo emocional de Russell com quatro conjuntos de emoções (quadrantes). Para detetar a emoção predominante em cada verso, propusemos uma abordagem baseada em palavras-chave, que tem como entrada uma frase (ou verso) e como saída a emoção (quadrante) correspondente. Para otimizar os parâmetros do sistema, criámos um corpus de treino constituído por 129 frases tiradas de 68 letras de música. Para o validar, criámos outro corpus com 239 frases tiradas de 44 letras. No final, medimos a eficácia das características das letras num contexto de análise bimodal (áudio e letra). Utilizámos grande parte das características de letras e áudio presentes no estado de arte, assim como as novas características propostas por nós.

Music emotion recognition (MER) is gaining significant attention in the Music Information Retrieval (MIR) scientific community. In fact, the search of music through emotions is one of the main criteria utilized by users. Real-world music databases from sites like AllMusic or Last.fm grow larger and larger on a daily basis, which requires a tremendous amount of manual work for keeping them updated. Unfortunately, manually annotating music with emotion tags is normally a subjective process and an expensive and time-consuming task. This should be overcome with the use of automatic systems. Besides automatic music classification, MER has several applications related to emotion-based retrieval tools such as music recommendation or automatic playlist generation. MER is also used in areas such as game development, cinema, advertising and health. Most of early-stage automatic MER systems were based on audio content analysis. Later on, researchers started combining audio and lyrics, leading to bimodal MER systems with improved accuracy. This research addresses the role of lyrics in the music emotion recognition process. Feature extraction is one of the key stages of the Lyrics Music Emotion Recognition (LMER). We follow a learning-based approach using several state of the art features complemented by novel stylistic, structural and semantic features. To evaluate our approach, we created a ground truth dataset containing 180 song lyrics, according to Russell’s emotion model. We conduct four types of experiments: regression and classification by quadrant, arousal and valence categories. To validate these systems we created a validation dataset composed for 771 song lyrics. To study the relation between features and emotions (quadrants) we performed experiments to identify the best features that allow to describe and discriminate each quadrant. We also conducted experiments to identify interpretable rules that show the relation between features and emotions and the relation among features. This research addresses also the role of the lyrics in the context of music emotion variation detection. To accomplish this task, we create a system to detect the predominant emotion expressed by each sentence (verse) of the lyrics. The system employs Russell’s emotion model with four sets of emotions (quadrants). To detect the predominant emotion in each verse, we proposed a novel keyword-based approach, which receives a sentence (verse) and classifies it in the appropriate quadrant. To tune the system parameters, we created a 129-sentence training dataset from 68 songs. To validate our system, we created a separate ground-truth containing 239 sentences (verses) from 44 songs. Finally, we measure the efficiency of the lyric features in a context of bimodal (audio and lyrics) analysis. We used almost all the state of the art features that we are aware of for both dimensions, as well as new lyric features proposed by us.