Automatic Data Model Conversion

Abstract

Com o crescente desenvolvimento das áreas urbanas, os governos municipais procuram novas formas de gerirem as suas cidades. A Urban Platform é o produto da empresa Ubiwhere que procura dar resposta a este problema, apresentando mapas interativos e estatísticas em tempo real, que ajudam na tomada de decisões.Porém, com o aumento do número de novas cidades a aderirem à plataforma, o número de fontes de dados a serem integradas na plataforma também aumenta e a sua integração manual na Urban Platform, torna-se muito morosa e dispendiosa no que diz respeito à mão-de-obra. A presente dissertação visa contribuir para a resolução desta problemática, abordando esta integração de novos modelos de dados na Urban Platform como um problema de correspondência automática entre esquemas. Primeiramente, é apresentado o estado da arte das técnicas e sistemas atualmente utilizados nesta área. Entre elas estão técnicas de processamento de linguagem natural, de teoria de grafos e técnicas de combinação matricial. Posteriormente, são detalhados todos os passos para o desenvolvimento do programa. A solução proposta é constituída por quatro etapas principais, sendo elas: a leitura das fontes e reconhecimento de entidades; a seleção de pares candidatos constituídos por entidades do modelo de dados da Urban Platform e do modelo de dados da nova fonte; o cálculo das similaridades desses pares; a extração de mapeamentos finais entre o modelo da nova fonte e o modelo da Urban Platform. As experiências realizadas demonstraram algum potencial desta solução. Contudo, esta ainda se encontra longe de poder ser colocada em produção, pois o valor médio do f1-score (61%) ainda não é suficientemente elevado para que compense substituir a correspondência tradicional, sobretudo no que toca aos casos de maior dificuldade de correspondência.

As urban areas grow and become more developed, municipal governments look for new ways of managing their cities. Urban Platform is Ubiwhere's product which aims at fulfilling this necessity, presenting interactive maps and statistics in real time that help the decision process. However, as new cities adhere to the platform, the number of data sources also increases and their manual integration in the Urban Platform becomes time-consuming and labour-intensive. The present dissertation contributes to tackle this problem, addressing the integration of new data models into the Urban Platform as an automatic schema matching task. After the contextualization and introduction of basic concepts, a state of the art of the techniques and systems currently used is provided. Among them are natural language processing, graph theory and matrix combination techniques. Then, all the steps for building the automatic solution are detailed. The proposed solution includes four main steps: the source handling and entity recognition; the selection of candidate pairs of entities from the Urban Platform and from the new data source; the similarity calculation of those pairs; the extraction of a final mapping between the new source and the Urban Platform. The experimental study showed the solution's potential. Yet it is far from being production-ready, since the average f1-score (61%) is still not high enough to be worth replacing the traditional manual integration, particularly regarding harder matching cases.