Exploração de dados em falta: Uma abordagem visual

Abstract

Os dados em falta são um problema comum na análise de dados e podem ocorrer devido a múltiplos fatores, tais como falha de sensores, resultados de análises perdidos ou amostras contaminadas. Ao longo dos anos, foram utilizadas diversas estratégias para resolver este problema, sendo as mais comuns a eliminação dos casos com valores em falta e sua substituição por valores estimados de acordo com os restantes dados - imputação. Todavia, para se escolher a técnica mais adequada para lidar com os dados em falta é fundamental compreender as suas caraterísticas intrínsecas, tais como a sua distribuição e o tipo de mecanismo em causa. Estudos recentes indicam que a exploração de dados em falta pode ser realizada através de métodos de visualização,afirmando que esta técnica permite uma análise aprofundada, orientando assim a escolha apropriada de um método de imputação.O objetivo principal desta tese prende-se com o desenvolvimento de uma ferramenta intuitiva e transparente que permita a exploração dos dados em falta através de métodos de visualização, auxiliando o utilizador na escolha do método de imputação mais apropriado. A ferramenta foi desenhada tendo em mente dois perfis distintos de utilizador (iniciantes e especialistas da área) e a capacidade para lidar com conjuntos de dados de grande dimensionalidade. As diversas funcionalidades da ferramenta foram validades através da realização de um caso de estudo.

Missing data is a common problem in data analysis and can occur due to many factors, such as sensor failure, lost analysis results or contaminated samples. Through the years, different strategies have been used to solve this problem, the most common being the elimination of cases with missing values and their substitution according to the remaining data - imputation. However, to choose the most adequate technique to handle missing data it is fundamental to understand its intrinsic characteristics, such as data distribution and missing mechanism. Recent studies indicate that the missing data exploration can be performed through visualization methods, positively reinforcing that this technique allows a profound analysis, supporting the choice of an appropriate imputation method. The main focus of this thesis is to develop an intuitive and transparent tool that allows missing data exploration through visualization methods and helps the user to choose the most appropriate imputation method. The tool was designed bearing in mind two distinct user profiles (beginners and experts) and ability to handle high-dimensional data. The several features included in tool were validated through a case study.