Data ingestion in Smart Cities

Abstract

A rápida expansão das áreas urbanas e os rápidos avanços da tecnologia levaram ao entrelaçamento tecnológico das cidades, tornando-as dependentes em uma variedade de setores dos sistemas que as controlam. Com os diversos setores de uma cidade sendo controlados por máquinas, a necessidade de monitorá-los aumentou, dando-se a oportunidade de centralizar as informações para que os líderes da cidade pudessem tomar decisões mais coerentes e lógicas. As chamadas Cidades Inteligentes estão em constante evolução, trazendo novos dispositivos de Internet das Coisas e novas fontes de dados, gerando cada vez mais informações com o passar dos anos. O principal problema com essa evolução exponencial é que os sistemas de ingestão antigos não conseguem lidar com o aumento na quantidade de dados gerados.Este trabalho teve em vista o problema de ingestão da Plataforma Urbana da Ubiwhere e teve como objetivo propor um sistema que permite a coleta de dados das diferentes fontes que a Ubiwhere tem e pode ter no futuro, enquanto fornece processamento e entrega quase em tempo real.O seguinte documento propõe uma arquitetura para resolver o problema da Ubiwhere na coleta e processamento de dados de diferentes fontes de Smart City com ênfase na análise das diferentes opções para resolver o problema de ingestão de dados.Além disso, esta tese descreve o mecanismo de Regras desenvolvido para permitir que os usuários forneçam suas próprias regras personalizadas para que as comparações de dados em tempo real possam ser feitas em diferentes conjuntos de dados para uma tomada de decisão mais preventiva e eficiente com base no resultado dos limites definidos pelo utilizador.Por último, mas não menos importante, demonstramos nossa solução usando um caso de uso de Smart Cities do mundo real, particularmente nos setores de tráfego.

The swift expansion of urban areas and the rapid advances of technology, led to the technological entanglement of cities, making them dependent in a variety of sectors on the systems that control them. With the different sectors in a city becoming controlled by machines, the need to monitor them has increased giving rise to an opportunity to have the information centralized so that city leaders can take more coherent and logical decisions. These so-called Smart Cities have been in constant evolution bringing about new Internet of Things devices and new data sources generating more and more information as the years go by. The main issue with this exponential evolution is that legacy ingestion systems cannot cope with the rise in the amount of data that is generated.This work had in view Ubiwhere´s Urban Platform ingestion issue and aimed to propose a system that allows the gathering of data from the different sources that Ubiwhere has and may have in the future whilst providing near real-time processing and delivery.The following document proposes an architecture to solve Ubiwhere´s problem in collecting and processing data from different Smart City sources with emphasis on the analysis of the different options to solve the problem of data ingestion.Additionally, this thesis describes the Rule mechanism developed for allowing users to provide their own custom rules so that real-time data comparisons can be made given different data sets for more preemptive and efficient decision making based on the result of the user-defined thresholds.Last but not least, we demonstrate our solution using a real-world Smart Cities use case namely in the sectors of Traffic.