Please use this identifier to cite or link to this item: http://hdl.handle.net/10316/83562
Title: Data Science for Non-Programmers: Orchestration of Microservices and Graphical User Interface
Other Titles: Data Science para não-programadores: Orquestração de Microserviços e Interface Gráfica
Authors: Lopes, Bruno Leonel André 
Orientador: Araújo, Filipe João Boavida Mendonça Machado de
Paiva, Rui Pedro Pinto de Carvalho e
Keywords: Data Science; Data Mining; Microservices; Orchestration; Workflows; Data Science; Data Mining; Microservices; Orchestration; Workflows
Issue Date: 10-Sep-2018
Serial title, monograph or event: Data Science for Non-Programmers: Orchestration of Microservices and Graphical User Interface
Place of publication or event: DEI-FCTUC
Abstract: Com o surgimento de Big Data, a escassez de data scientists para analisar todos os dados produzidos em diferentes domínios tornou-se evidente. Para treinar novos data scientists e para fazer experiências mais rápidamente, aplicações web que providenciem boas práticas de data science e que não requeiram experiência em programação, podem ser uma grande ajuda.Contudo, algumas aplicações web não aplicam bem as boas práticas de data mining, especialmente na avaliação e seleção de modelos. Assim sendo, nesta dissertação iremos descrever um sistema, atualmente em desenvolvimento, que permitirá a criação de worflows com especial ênfase nas boas práticas de data mining. Os desafios tecnológicos principais abordados nesta tese, foram a adoção do Netflix Conductor para a orquestração de microservices; desenvolvimento da biblioteca Condu, que facilita a comunicação com o Conductor escrita em Python; e a construção de uma interface gráfica para o utilizador. Testes de usabilidade foram feitos com dois grupos de utilizadores para avaliar o nosso conceito de criação de processos de data mining. Nestes testes foram alcançados altos níveis de satisfação por parte dos utilizadores .
With the emergence of Big Data, the scarcity of data scientists to analyse all the data being produced in different domains became evident. To train new data scientists and make experiments with data faster, web applications providing good data science practices without requiring programming skills can be a great help. However, some available web applications lack in providing good data mining practices, specially for the assessment and selection of models. Thus, in this dissertation we describe a system, currently under development, that will allow the construction of data mining workflows enforcing good data mining practices. The main technical challenges addressed in this thesis were the adoption of Netflix Conductor to orchestrate the microservices; the development of Condu, a Python utility library to interface with Conductor; and the construction of the graphical user interface.Usability tests, were conducted with two groups of users to evaluate the envisioned concept for the creation of data mining processes. In these tests we observed a general high level of user satisfaction .
Description: Dissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e Tecnologia
URI: http://hdl.handle.net/10316/83562
Rights: openAccess
Appears in Collections:UC - Dissertações de Mestrado

Files in This Item:
File Description SizeFormat
DS4NP_REPORT_BRUNO_LOPES.pdf3.38 MBAdobe PDFView/Open
Show full item record

Page view(s) 50

530
checked on Aug 11, 2022

Download(s) 50

729
checked on Aug 11, 2022

Google ScholarTM

Check


This item is licensed under a Creative Commons License Creative Commons