POWER Data Framework Architecture

Abstract

Este documento descreve o trabalho realizado por José Dias, no âmbito do estágio "POWER Data Framework Architecture", promovido pelo Departamento de Engenharia Informática da Faculdade de Ciências e Tecnologias da Universidade de Coimbra, em parceria com a empresa Altice Labs S.A., como projeto de dissertação do Mestrado em Engenharia Informática. Este relatório serve para documentar o estado do projeto no seu ponto intermédio.O objetivo do estágio é desenhar uma arquitetura de software que cumpra os objetivos e necessidades atuais dos processos de gestão de dados da Altice Labs, construindo uma base estável para o crescimento futuro do negócio num contexto de IaaS ou PaaS, bem como a implementação de novas técnicas e práticas de gestão e \textit{governance} de dados.Para contextualizar o processo de desenho da arquitetura, abordagens inovadoras foram analisadas. Após esta contextualização, o processo de análise e engenharia requisitos foi iniciado, resultando numa especificação de requisitos que permitiu a análise dos \textit{drivers} arquiteturais. A conclusão desta etapa preliminar foi a elaboração de um rascunho da arquitetura que cumprisse os requisitos funcionais e não funcionais, ainda que sem validação experimental.Para evoluir a partir do rascunho e progredir do rascunho para uma arquitetura validada e completa, foi utilizada uma metodologia iterativa - uma versão adaptada do "Architecture-Centric Design Methodology" (ACDM). Em cada iteração, a arquitetura e os requisitos foram refinados, validados e posteriormente avaliados experimental e teoricamente.Foram realizadas duas iterações do processo de desenvolvimento da arquitetura, resultando numa \textit{pipeline} de ingestão, armazenamento e disponibilização de dados validada experimentalmente no paradigma \textit{Lakehouse}, e numa plataforma de governança e administração parcialmente validada. O projeto resultou numa especificação de requisitos e numa especificação de arquitetura que foram entregues à Altice Labs S.A..

This document describes the work carried out by José Dias, in the scope of the "POWER Data Framework Architecture" internship promoted and hosted by the Department of Informatics Engineering of the Faculty of Sciences and Technology of the University of Coimbra , in partnership with Altice Labs S.A., as part of the Informatics Engineering Master's course.The objective of the internship is to specify a software architecture which meets the current business goals and needs of Altice Labs' data management processes, while also providing a stable foundation for future business growth into an IaaS or PaaS context and the adoption of novel data management and governance techniques and practices.To provide the background for the architecture design process, novel approaches were analysed and reviewed. Following this brief contextualization, the preliminary requirement analysis process was initiated, resulting in a requirement specification to enable the analysis of architectural drivers. The conclusion of this preliminary step was the drafting of an architecture which met the functional and non-functional requirements albeit without experimental validation.To evolve from the draft and mature the architecture into a fully validated and complete specification, an iterative methodology was followed - an adapted version of the Architecture-Centric Design Methodology (ACDM). In each iteration the architecture and requirements were refined and subsequently evaluated experimentally and theoretically.The architecture was developed through two iterations of the design process, resulting in an experimentally validated data ingestion, storage and serving pipeline under the Lakehouse paradigm, and in a partially validated governance and administration platform. The project resulted in a requirement specification and architecture specification, which will be submitted as deliverables for Altice Labs S.A..