Improving usability and functionality in a fault injection framework

Abstract

Computer systems are becoming increasingly complex and more prone to faults and failures. Inevitably, failures will occur, and some of these failures can be costly and dangerous. Techniques such as fault injection, either using fault models or failure models, aim to characterise and validate the dependability of a system. Fault injection frameworks have come to be created, however many of them focus on specific types of users, so it is not always easy for a less experienced user to be able to test a system. One of the objectives of this thesis is the improvement of the usability of ucXception, a framework for performing fault injection in local, virtualized or cloud systems, due to the limitations that it presents. In order to make ucXception more accessible, easier and faster to install and configure, a containerisation technology has been applied. The first phase of the report aims to describe the whole engineering process leading to the realization of the improved version of ucXception, which will be called ucXception 2.0, including a review of the state of the art, a description of the system, i.e. a description of the architecture, technologies used, changes from the previous version, followed by an analysis of the requirements and an overview of the development as well as testing phases. The final objective achieved was to assess whether fault injection using failure models can accelerate the process of fault injection producing as accurate and representative results. To fulfil this objective, experiments were conducted to compare failure models and fault models with the aim of assessing whether failure models can be used as an alternative to fault models. In order to be able to compare these two models, an existing fault injector tool was used and a new tool was created to inject failures. Openstack, a cloud operating system, was used as the target system for the experiences.

Os sistemas informáticos estão a tornar-se cada vez mais complexos e mais propensos a falhas e avarias. Inevitavelmente, ocorrerão falhas, e algumas destas falhas podem ser dispendiosas e perigosas. Técnicas como a injecção de falha, quer utilizando modelos de falha ou modelos de avaria, visam caracterizar e validar a confiabilidade de um sistema. Frameworks de injecção de falhas vieram a ser criadas, no entanto muitas delas concentram-se em tipos específicos de utilizadores, pelo que nem sempre é fácil para um utilizador menos experiente ser capaz de testar um sistema. Um dos objectivos desta tese é a melhoria da usabilidade da ucXception, uma framework que realiza injecção de falhas em sistemas locais, virtualizados ou computação em nuvem, devido às limitações que apresenta. A fim de tornar o ucXception mais acessível, mais fácil e mais rápido de instalar e configurar, foi aplicada uma tecnologia de contentorização. A primeira fase do relatório visa descrever todo o processo de engenharia que leva à realização da versão melhorada do ucXception, a ser chamada ucXception 2.0, incluindo uma revisão do estado da arte, uma descrição do sistema, ou seja, uma descrição da arquitectura, tecnologias utilizadas, alterações em relação à versão anterior, seguida de uma análise dos requisitos e uma visão geral das fases de desenvolvimento, bem como das fases de teste. O último objectivo alcançado foi avaliar se a injecção de falha utilizando modelos de avaria pode acelerar o processo de injecção de falha produzindo resultados tão precisos e representativos. Para cumprir este objectivo, foram realizadas experiências para comparar modelos de avarias e modelos de falhas com o objectivo de avaliar se os modelos de avarias podem ser utilizados como uma alternativa aos modelos de falhas. De modo a conseguir comparar estes dois modelos foi utilizada uma ferramenta que injecta falhas existente e foi criada uma nova ferramenta para injectar avarias. O Openstack, um sistema operativo de nuvem, foi utilizado como sistema alvo para as experiências.