ISABELA: IoT Student Advisor and BEst Life Analyser

Abstract

Os objetos e aparelhos do dia-a-dia estão cada vez mais inteligentes e interligados. Conceitos como a Internet das Coisas (IoT) e sistemas ciber-físicos (CPS) estão a ser usados para dar a tecnologia, que usamos todos os dias, capacidades de comunicação e sensoriais. Permitindo que estes dispositivos sejam utilizados como sensores, que podem ser usados para obter informação sobre as atividades do dia-a-dia das pessoas. Isto por sua vez, constitui uma grande oportunidade para se fazer investigação nesta área e para criar tecnologias que possam ajudar as pessoas. Porém, estas tecnologias ainda não são muito centradas nos seres Humanos e a maioria dos sistemas veem o ser Humano como um elemento externo ao sistema. Contudo, ao utilizar o conceito de Human-in-the-loop Cyber-Physical System (HITLCPS) podemos criar sistemas que são mais focados nas pessoas. Este conceito consiste em integrar o Humano como parte dos CPS, isto é, fazer com que o sistema reconheça o Humano: os seus parâmetros físicos,as suas possíveis ações, intenções e estados emocionais. Ao adicionar o ser Humano como parte do sistema nós podemos obter informações sobre ele, processar essa informação para prever estados futuros e fechar o ciclo de controle ao devolver essa informação ao ser Humano. O principal objetivo desta tese era implementar o conceito de HITLCPS num sistema, capaz de monitorizar os estudantes e de os ajudar a melhorar o seu desempenho académico. Este tese focou-se principalmente no desenvolvimento da estrutura necessária para a obtenção e armazenamento da informação e no desenvolvimento do front-end da plataforma (aplicação Android). Contudo, durante este projeto nós também desenvolvemos alguns algoritmos e aplicamos técnicas de machine learning. Este projeto incluiu o desenvolvimento de duas aplicações Android (uma aplicação para Smartphone e uma aplicação para Smartwatch), a utilização da plataforma FIWARE e a utilização de dispositivos embebidos (Raspberry Pi e Arduino). Nós utilizamos o Smartphone e o Smartwatch para obter informação sobre os estudantes e o dispositivos embebidos para obter dados do ambiente. A partir desta informação nós inferimos/classificamos a atividade, localização, sociabilidade e padrões de sono. Nós também recolhemos informação de sensores virtuais/sociais, nomeadamente do Facebook. Tanto quanto sabemos, este projeto é uma das primeiras tentativas de juntar HITLCPS, IoT e machine learning para criar aplicações centradas nas pessoas.

Everyday objects and devices are becoming, more and more, intelligent and interconnected. Concepts like Internet of Things (IoT) and Cyber-Physical Systems (CPS) are being used to empower the technology, we use everyday, with sensors and communication capabilities. Allowing these devices to be used as sensors, that can collect information about people's day-to-day activities. This of course, constitutes a great opportunity to perform research on this area and create new technologies to help people. However, these technologies are still not very Human centric and the majority of the systems sees the Human as an external factor to the system. Although, by applying the concept of Human-in-the-Loop Cyber-Physical Systems (HITLCPS) we can create systems that are more centered on people . This concept consists in integrating the Human as part of the CPS, that is, make the system aware of the Human: his physical parameters, his possible actions, intents and emotional states. By adding the Human as part of the system we can collect information about him, process that information to infer future states and close the loop by giving that information to the Human. The main objective of this thesis was to implement the concept of HITLCPS in a system capable of monitoring students and help them enhance their academic performances. This thesis was mainly focus on developing the necessary structure for collecting and storing data and on developing a front-end for the users (Android application). However, during this project we also developed some algorithms and applied machine learning techniques. This project included the development of two Android applications (one Smartphone application and one Smartwatch application), the use of the FIWARE platform and the use of embedded devices (Raspberry Pi and Arduino). We used the Smartphone and the Smartwatch to collect the personal data from students and the embedded devices to collect data about the environment. From the data, we collected, we infer/classify the student's Activity, Location, Sociability and Sleep. We also collected data from social/virtual sensors, namely from the Facebook. As far as we know, this is one of the first attempts to use HITLCPS, IoT and machine learning together to create people centric applications.