The joint-effect of imbalanced and missing data: a challenging task in data analysis

Abstract

A evolução da tecnologia aumentou exponencialmente a quantidade e complexidade dos dados, o que levou ao aparecimento de problemas ao nível dos dados que afetam negativamente o desempenho do processo de extração de conhecimento dos dados. Estes problemas podem ser divididos em duas categorias: problemas de distribuição, onde estão incluídos o não balanceamento dos dados e os small disjuncts, e de variáveis, onde se encontra o problema dos dados em falta.A relação entre dificuldades da primeira categoria foi já estudada por alguns autores. No entanto, a relação entre problemas de cada uma das categorias ainda não foi abordada na literatura. Por isso, o foco desta tese é a inter-relação entre problemas de diferentes categorias e como é que esses problemas afetam o desempenho da classificação.Neste trabalho, é apresentado um estudo sobre como algumas características de datasets afetam a imputação de dados em falta e a classificação dos dados. As características consideradas foram o tamanho e número de features num dataset, o Imbalance Ratio (IR), algumas métricas de complexidade e a distribuição da classe minoritária. Chegou-se à conclusão que estas características não têm um grande impacto na imputação mas, por outro lado, o IR e a distribuição da classe minoritária afetam bastante os algoritmos de classificação. Quanto menos balanceado um dataset é e mais dados unsafe tem, pior será o desempenho da classificação. Em conclusão, a classificação irá ter pior resultados em datasets com uma complexidade mais alta.

The evolution of the technology increased exponentially the amount of available data and the complexity of it, which brought some data quality problems that affect negatively the performance of the data mining process. These data quality issues can be divided into two main categories: distribution-based, which includes class imbalance and small disjuncts, and feature-based, that includes missing data. These problems often occur together in real-world datasets, therefore, it is important to study how problems from one category affect issues from the other.The interrelation among problems from the same category have already been studied while the relation between distribution and feature-based have yet to be researched. This thesis focus on this interrelation and how both problems affect the classification performance. In this work, it is presented a study on some datasets characteristics and the effect they have on the imputation and classification performance. The considered characteristics were the size and number of features in a dataset, the Imbalance Ratio (IR), some complexity metrics and the distribution of the minority class. These characteristics do not have a high impact on the imputation performance while the IR and the distribution of the minority class highly affect the classification task. The higher the IR and the percentage of unsafe samples, the lower the performance will be. In conclusion, the classification will have worse results when a dataset has a higher complexity.