Evolutionary Software Tests Subset Optimization

Abstract

Software testing constitutes a crucial aspect of any system's life cycle. However, the process demands substantial time and resources, leading to the creation of a large amount of tests for requirement validation. Over time, test suites can expand to an extent that renders them impractical for utilization within restricted time frames. This scenario requires the employment of optimization techniques to strategically select the most pertinent tests for early execution, ensuring effective testing in constrained contexts. Altice, a participant in this project, is directly engaged in the development and maintenance of Optical Line Terminations (OLTs), essential components within their Passive Optical Networks (PONs). These networks provide internet, telephone, and television services to an constantly-growing number of customers. The testing procedure for OLTs encompasses thousands of tests, presenting a substantial demand for both time and human resources. Moreover, black-box testing is used, with tests composed in a high-level language, introducing challenges in evaluating and selecting tests. Thus, a new approach was required to optimize the test subset selection process of OLTs. In this context, this work introduces an evolutionary approach for optimizing test subsets in the distinctive OLT scenario. This approach is founded upon Genetic Algorithms (GAs) and has been validated through extensive experimentation. It proficiently selects subsets of tests using limited computational resources within reasonable time frames, and its adaptability to progressing test evaluation criteria and execution constraints further enhances its viability. The outcomes obtained underscore the potential applicability of this approach in real-world scenarios.

Teste de software constitui um aspecto crucial no ciclo de vida de qualquer sistema. No entanto, o processo exige tempo e recursos substanciais, levando à criação de uma grande quantidade de testes para validação dos requisitos. Com o tempo, conjuntos de testes podem expandir-se a ponto de torná-los impraticáveis para utilização dentro de prazos restritos. Este cenário requer a aplicação de técnicas de otimização para selecionar estrategicamente os testes mais pertinentes para execução precoce, assegurando testagem eficaz em condições limitadas. A Altice, participante neste projeto, está diretamente envolvida no desenvolvimento e manutenção de Terminações de Linha Óptica (OLTs), componentes essenciais em suas Redes Ópticas Passivas (PONs). Essas redes fornecem serviços de internet, telefone e televisão para um número constantemente crescente de clientes. O procedimento de teste para OLTs engloba milhares de testes, apresentando uma demanda substancial tanto de tempo quanto de recursos humanos. Além disso, a testagem segue um paradigma black-box, com testes compostos em uma linguagem de alto nível, o que introduz desafios na avaliação e seleção dos testes. Assim, uma nova técnica foi solicitada para otimizar o processo de seleção de subconjuntos de teste de OLTs. Nesse contexto, este trabalho apresenta uma abordagem evolucionária para otimizar subconjuntos de teste no cenário distinto de OLTs. Essa abordagem é baseada em Algoritmos Genéticos (GAs) e foi validada por meio de experimentação extensiva. Ela seleciona de maneira eficiente subconjuntos de testes usando recursos computacionais limitados dentro de prazos razoáveis, e sua adaptabilidade a critérios de avaliação de testes e limites de tempo em constante mudança reforça a sua viabilidade. Os resultados obtidos destacam a aplicabilidade potencial desta abordagem em cenários do mundo real.