Distributed System Tests Framework

Abstract

A criação de uma plataforma distribuída enfrenta grandes desafios, nomeadamente ao nível da qualidade, pelo que é necessário um rápido desenvolvimento de testes que serão posteriormente executados nesses ambientes complexos. O projeto stf2 aparece nesse âmbito conjuntamente com o facto da Feedzai querer ganhar o seu lugar no mundo das Open-Source e, simultaneamente, criar o maior entrosamento entre as equipas, criando uma framework única, simples e escalável.A stf1 criada pela equipa do Pulse, usa o Docker para configurar programaticamente o ambiente desejado e, em seguida, permite a qualquer engenheiro escrever testes de sistema usando o JUnit. A existência de quatro frameworks criadas por cada equipa com objetivos semelhantes, conduz à falta de coesão e ligação entre essas, pois nenhuma plataforma é tida como referência. Outro facto a ser contabilizado é a necessidade de escalar de forma horizontal e automaticamente as componentes criadas, de forma ao esforço ser dividido pelas máquinas.No âmbito do estágio, o projeto stf3 visa desenvolver uma plataforma distribuída com o objetivo de testar os componentes internos e externos da stack tecnológica da Feedzai, realizando paralelização horizontal. Neste caso optou-se por usar ficheiros de docker-compose e de configuração de k8s e usar o sistema de gestão de containers, o k8s.Concluindo, com a correta integração dos vários componentes internos e externos surgirão benefícios ao nível da escalabilidade e portabilidade. Todos estes problemas foram acautelados e resolvidos, sendo que a criação da stf2 foi um sucesso, dado que consegue de forma automática lançar um ambiente num cluster de k8s e executar os testes para os mesmo.

The creation of a distributed platform faces major challenges, particularly at the level of quality, so it is necessary to rapidly develop tests that will later be executed in these complex environments. The stf project appears in this context together with the fact that Feedzai wants to gain its place in the Open Source world and at the same time to create the greatest inter-teaming, creating a single, simple and scalable framework.The stf1 created by the Pulse team uses Docker to programmatically configure the desired environment and then allows any engineer to write system tests using JUnit. The existence of four frameworks created by each team with similar objectives, leads to the lack of cohesion and connection among these, since no platform is taken as a reference. Another fact to be counted is the need to scale horizontally and automatically the components created, so that the effort is divided by the machines.In the scope of the stage, the stf2 project aims to develop a distributed platform with the objective of testing the internal and external components of the technology stack of Feedzai, performing horizontal parallelization. In this case we chose to use docker-compose files and k8s configuration and use the container management system, k8s.In conclusion, with the correct integration of the various internal and external components there will be benefits in terms of scalability and portability. All of these problems were taken care of and solved, and the creation of stf was a success since it can automatically launch an environment in a cluster of k8s and execute the tests for them.