Consolidation and Extraction of Address Information with Intelligence

Abstract

À medida que os dados crescem exponencialmente ao longo do tempo, torna-se desafiante para as empresas lidar com este crescimento.Um dos problemas mais óbvios causados pelo crescimento dos dados é a maior necessidade de armazenamento de dados.Além disso, à medida que os dados crescem, a sua complexidade também aumenta, especialmente se os dados não estiverem estruturados ou a sua qualidade for fraca, dando origem à inclusão de dados voláteis. Como tal, o trabalho produzido para este documento trata de um problema real, proposto pela empresa de telecomunicações Altice, cujo problema se foca na consolidação e melhoria da informação de dados relativos a moradas. O interesse e relevância deste tópico baseiam-se nos problemas presentes na operacionalização dos dados para muitas empresas, tais como a Altice, cujos problemas estão relacionados com a qualidade dos dados, tais como completude, exatidão, duplicações ou inconsistências.A abordagem aqui apresentada foi concebida para resolver problemas de dados como os referidos, com ênfase na análise de diferentes ferramentas e técnicas inteligentes para tratar o problema da Altice, no que respeita à consolidação e processamento de dados.De forma a permitir à Altice tirar partido das funcionalidades desenvolvidas para o seu problema, é proposta uma arquitetura para a construção do software que incorpora as referidas funcionalidades.Para provar a exequibilidade e validar as abordagens concebidas para cada tipo de problema identificado pela Altice, são apresentados resultados sobre a abordagem concebida relativamente à correta atribuição de correspondências entre moradas, que visam validar e provar a sua viabilidade, para além de provar a sua utilidade para a operacionalização da Altice.

As data grows exponentially over time, it becomes a challenge for companies to cope with this growth.One of the most obvious problems caused by data growth is the increased need for data storage.Furthermore, as data grows, its complexity also increases, especially if the data is unstructured or its quality is poor, giving rise to the inclusion of volatile data. As such, the work produced for this document deals with a real problem, proposed by the telecommunications company Altice, whose problem focuses on the consolidation and improvement of data information regarding addresses. The interest and relevance of this topic are based on the problems present in the data operationalization for many companies, such as Altice, whose problems are related to data quality, such as completeness, correctness, duplications or inconsistencies.The approach presented here is designed to solve data problems, with an emphasis on the analysis of different tools and intelligent techniques to address Altice's problem, regarding data consolidation and processing.In order to allow Altice to take advantage of the functionalities developed for its problem, an architecture is proposed for building the software that incorporates said functionalities.To prove the executability and validate the approaches designed for each type of issue identified by Altice, results are presented on the approach designed concerning the correct assignment of matches between addresses, which aim to validate and prove its viability, in addition to proving its usefulness for the operationalization of Altice.