Failure Prevision in Cloud Applications

Abstract

A computação em nuvem tem sido cada vez mais adotada como modelo computacional padrão para suportar vários tipos serviços em diversas áreas (e.g., Saúde, Finanças, Educação, etc.), o que aumenta o nível de dependência destas infraestruturas. As avarias dos sistemas são eventos inevitáveis e com muitas causas possíveis (e.g., avarias de hardware, erros de software, falhas de operador, fenómenos naturais, etc.), sendo convencionalmente tratadas de forma reactiva (após a sua ocorrência). A computação em nuvem não é uma exceção. Portanto, a previsão avarias torna-se uma abordagem alternativa e necessária para reduzir os impactos causados avarias em sistemas cuja dependência é relevante. A alta fiabilidade e disponibilidade em infra-estruturas de nuvem é normalmente conseguida através do mecanismo de tolerância a falhas, o que representa um elevado custo para os fornecedores. A previsão de falhas pode ser uma maneira de aumentar tais atributos para sistemas e serviços baseados na compuatação em nuvem.Nesta tese de mestrado, nós aplicamos uma abordagem pró-ativa para lidar com avarias (causadas por erros) que podem ocorrer em Sistemas de Gestão de Infra-estruturas de computação em nuvem (especificamente o OpenStack) usando técnicas de Machine Learning para criação de modelos de previsão em de avarias em tempo real e um framework de injeção de falhas para catalisar o processo de obtenção avarias no sistema, de formas a capturar dados que possam indicar a propensão do sistema a avarias, bem como também aumentar a cobertura (isto é, qualidade) dos conjuntos de dados utilizados no processo de criação dos modelos (i.e., treinos e testes). Também apresentamos uma nova abordagem para o uso do atributo temporal dos dados, que visa preservar a característica sequêncial dos dados e melhorar a qualidade dos modelos. Este trabalho pode ser visto como base para o desenvolvimento de um módulo do OpenStack dedicado a previsão de avarias na plataforma.

Cloud computing has increasingly been adopted as the standard computational model to support various services in various areas (e.g., health, finance, education, etc.), which increases the level of dependence on cloud infrastructures. System failures are inevitable events with many possible causes (e.g., hardware faults, software bugs, operator faults, natural phenomena, etc.) and are conventionally handled after their occurrence. Cloud computing is not an exception. Therefore, failure prediction becomes an alternative and necessary approach to reduce the impacts caused by faults in systems whose dependence is relevant. The high reliability and availability in cloud infrastructures is usually achieved through fault tolerance mechanisms, which represents a high cost to providers. Failure prediction can be a way to increase those attributes for cloud based systems and services. In this master thesis, we apply proactive approach to deal with failures (caused by errors) that may occur in Cloud Management Platform (i.e., OpenStack) using Machine Learning techniques to create online failure prediction models and a fault injection framework to catalyze the generation of failure-prone data to increase the coverage (i.e., quality) of the data sets used to train our models. We also present a new way to use data time dimension in the process of creating failures prediction models, preserving the sequential characteristic of the collected data. The inherent characteristics of cloud computing (i.e., fast elasticity, resource pooling, virtualization technologies, etc.) makes a mechanism like this represent a huge advantage, as it becomes possible to implement counter measures at the imminence of a failure. This work can be considered a groundwork for developing an OpenStack module dedicated to predicting failures of a cloud computing platform, enabling infrastructure operators (i.e., providers) to take compensatory actions that mitigate the impact of a failure before they even occur.