Identificação de Instrumentos Musicais em Música Polifónica

Abstract

A identificação de instrumentos musicais continua um desafio por resolver na área de investigação em música, geralmente referida como Music Information Retreival (MIR). Este problema, fundamental para campos como a pesquisa por áudio, reconhecimento de género musical, recomendação de musica, ou a identificação de plágio, será abordado tendo em conta diversos métodos.A seguinte dissertação de mestrado apresenta um sistema de identificação de instrumentos que tem por base uma pequena parte da base de dados AudioSet com sons de instrumentos e que propõe o reconhecimento de áudio com base em imagens, neste caso espetogramas de mel, que representam o som que se pretende classificar.O OpenMic-2018 (OM18) é uma base de dados (BD) que surge no seguimento do AudioSet e com os mesmos ideais, mas direcionada para 20 classes de instrumentos musicais. Esta base de dados, publicada recentemente, conta ainda com poucos trabalhos que a abordem. Tentar-se-á superar os resultados já apresentados tanto através de abordagens originais como através de abordagens publicadas para o AudioSet. Trabalhos muito recentes utilizam modelos de atenção para classificar os exemplares do AudioSet e revelaram resultados muito positivos, pelo que também serão tidos em conta ao longo do projeto para a BD OM18.No âmbito do presente trabalho foi criada uma nova base de dados, \textbf{PureMic}, que tem por base as duas bases de dados já referenciadas. Esta é uma base de dados cujos exemplares são mais precisos e escolhidos de forma rigorosa, para poder contribuir para o classificador em tempo real e para uma melhoria das etiquetas do OM18, base de dados que ainda tem alguma falta de informação nesse aspeto.A seguinte dissertação faz então um resumo das abordagens a ser consideradas nomeadamente a implementação de redes neuronais convolucionais, muito utilizadas nesta área. Serão utilizadas as três bases de dados já referidas que providenciarão uma grande e suficiente quantidade de dados devidamente identificados.

Musical instruments recognition remains an unsolved challenge in Music Information Retreival (MIR). This problem, wich is fundamental for fields such as audio research, music genre recognition or music recommendation will be addressed with a variety of methods.This Master's dissertation presents an instrument identification system that is based on a small portion of AudioSet dataset with 20 musical instrument classes. This dataset proposes the recognition of audio events based on image inputs wich are log mel spectograms of sound events.OpenMic-2018 (OM18) is a dataset that extends the reach of AudioSet but targeted to only 20 classes of musical instruments. There are several publications arround AudioSet research. Since OpenMic its similar to AudioSet, some methods used in AudioSet will be aplied in OM18.In the context of this work, a new dataset was created, based on the two datasets already referenced. This is a dataset whose audio clips are more accurate and rigorously chosen to be able to contribute to the real-time classifier and to the improvement of OM18 labels.The following dissertation summarizes the approaches to be considered namely the implementation a convolutional neural netwrodk, widely used in this area. AudioSet, OpenMic-2018 and PureMic, will proveide a large and sufficiente amount of properly identified data. As AudioSet and OpenMic are Weakly Labeled Datasets (WLD), PureMic, a Strongly Labeled Dataset (SLD) will contribute to reduce the size of the other datasets but increase the quality of the labels.