Data Science for Non-Programmers: Orchestration of Microservices and Graphical User Interface

Abstract

Com o surgimento de Big Data, a escassez de data scientists para analisar todos os dados produzidos em diferentes domínios tornou-se evidente. Para treinar novos data scientists e para fazer experiências mais rápidamente, aplicações web que providenciem boas práticas de data science e que não requeiram experiência em programação, podem ser uma grande ajuda.Contudo, algumas aplicações web não aplicam bem as boas práticas de data mining, especialmente na avaliação e seleção de modelos. Assim sendo, nesta dissertação iremos descrever um sistema, atualmente em desenvolvimento, que permitirá a criação de worflows com especial ênfase nas boas práticas de data mining. Os desafios tecnológicos principais abordados nesta tese, foram a adoção do Netflix Conductor para a orquestração de microservices; desenvolvimento da biblioteca Condu, que facilita a comunicação com o Conductor escrita em Python; e a construção de uma interface gráfica para o utilizador. Testes de usabilidade foram feitos com dois grupos de utilizadores para avaliar o nosso conceito de criação de processos de data mining. Nestes testes foram alcançados altos níveis de satisfação por parte dos utilizadores .

With the emergence of Big Data, the scarcity of data scientists to analyse all the data being produced in different domains became evident. To train new data scientists and make experiments with data faster, web applications providing good data science practices without requiring programming skills can be a great help. However, some available web applications lack in providing good data mining practices, specially for the assessment and selection of models. Thus, in this dissertation we describe a system, currently under development, that will allow the construction of data mining workflows enforcing good data mining practices. The main technical challenges addressed in this thesis were the adoption of Netflix Conductor to orchestrate the microservices; the development of Condu, a Python utility library to interface with Conductor; and the construction of the graphical user interface.Usability tests, were conducted with two groups of users to evaluate the envisioned concept for the creation of data mining processes. In these tests we observed a general high level of user satisfaction .