Assessing the Behaviour of Service Applications in the Presence of Poor Quality Data

Abstract

As aplicações baseadas em serviços constituem a base de muitas organizações, devido à sua aptidão para suportar as mais variadas tarefas que contribuem para o funcionamento da organização. Por esta razão, a confiabilidade das aplicações baseadas em serviços afectam directamente o sucesso da organização, e podem causar danos financeiros e de reputação em caso de avaria. As aplicações baseadas em serviços normalmente recorrem a sistemas de bases de dados para fornecer o seu serviço. Com o envelhecimento do sistema, erro humano e falhas ambientais, entre outros, os dados armazenados estão susceptíveis à perda de qualidade, e a partir daí ficando incorrectos. Um problema potencialmente grave consiste no uso dos dados pelas aplicações baseadas em serviços sem que estes tenham sido verificados, o que pode causar avarias capazes de afectar a própria organização. Atualmente, os sistemas de gestão de bases e dados disponibilizam várias ferramentas que ajudam a garantir a qualidade dos dados, ao nível da base de dados, no entanto, uma aplicação baseada em serviços que seja bem desenvolvida deve ser resistente independentemente dos componentes de que faz uso. Durante esta tese, uma abordagem que permite a avaliação do comportamento de uma aplicação baseada em serviços sob o efeito de dados com baixa qualidade foi desenvolvida. A abordagem consiste em interceptar os dados que vêm da base de dados para a aplicação, e modificar esses dados de acordo com uma mutação, que é escolhida a partir de uma lista de mutações que representam problemas de qualidade de dados reais. Uma ferramenta que implementa esta abordagem foi desenvolvida, e, de seguida, foram efectuadas experiências que resultaram na descoberta de vários bugs de software numa famosa aplicação de código livre, a par de uma classificação do seu comportamento.

Service applications constitute the core of many organizations, due to their aptitude to support the most varied tasks that contribute to the operation of the organization. For this reason, the dependability of service applications directly affect the success of the organization, and can cause financial and reputation damages in case of failure. Service applications often resort to database systems to fulfill their purpose. With the aging of the system, human errors and environmental faults, among others, the stored data is susceptible to the loss of quality, thereafter becoming incorrect. A potentially serious problem occurs when this data is used by the service applications without previous verification, which can cause business-damaging failures. Nowadays, database management systems provide several tools that help ensure data quality, at the database-level, however, a well-designed service application must be robust independently of the quality of the data that it receives. During this thesis, an approach has been developed to allow the evaluation of the behaviour of a service application under the presence of poor data quality. The approach consists in intercepting the data coming from the database to the service application, and modifying it according to a type-specific mutation, which is chosen from a list of mutations that represent real data quality problems. An usable tool that implements the proposed approach was developed, and experiments were conducted, which resulted in the discovery of several software bugs in a well-known open-source application, along with a classification of its behaviour.