People4.0 - IoT Sensing And Human-In-The-Loop Interactions In Smart Environments

Abstract

Os avanços na tecnologia estão a mudar a forma como vivemos e a forma como interagimos com o mundo. Estamos a ver o surgimento de avanços em vários campos, desde serviços de Internet, computação quântica, assistentes pessoais ou até mesmo inteligência artificial. Os dispositivos da Internet das Coisas que nos cercam também aumentam em número a cada dia que passa. Estes dispositivos são cada vez mais capazes, com mais recursos de processamento, capacidades de comunicação mais rápidas e confiáveis e com um maior número de sensores para interagir com o mundo físico. Através destes dispositivos podemos criar sistemas mais “inteligentes”. No entanto, os sistemas não podem ser verdadeiramente inteligentes e completos até que integrem o humano como parte do sistema. Os seres humanos e as suas ações, emoções, intenções e desejos podem afetar amplamente a maneira como os sistemas se comportam e funcionam, sendo capazes de melhorar um sistema ou torná-lo pior. Como tal, devemos projetar os nossos sistemas com o humano em mente, não apenas como usuário final, mas como um “componente” totalmente integrado do sistema.Com os avanços da tecnologia temos à nossa disposição, novos meios para tentar entender o ser humano e integrá-lo melhor nos nossos sistemas. Hoje em dia a maioria dos humanos carrega, a todo momento, smartphones que possuem vários sensores, capazes de se comunicar com outros dispositivos e serviços, e que têm o poder de processamento necessário para fazer inferências sobre os estados dos humanos. Ao mesmo tempo com a proliferação das redes sociais, os próprios humanos podem atuar como sensores (i.e., sensores sociais). Avanços em radiofrequência e processamento de imagem também possibilitam o desenvolvimento de novas tecnologias de sensoriamento não obstrutivo, que podem ser usadas para captar informação dos humanos sem ser necessária qualquer interação. Adicionalmente, agora temos agentes interativos/chatbots que permitem a interação humana de sistemas com humanos.Nesta tese, estudamos os avanços tecnológicos mencionados anteriormente e o paradigma do Humano–no–Loop dos Sistemas Ciber–Físicos. Como ponto departida, revisamos o estado da arte de soluções já existentes para o paradigma Humano–no–Loop dos Sistemas Ciber–Físicos. Posteriormente, apresentamos um novo modelo para o paradigma Humano–no–Loop dos Sistemas Ciber–Físicos, que considera o humano em todas as fases do ciclo Ciber–Físico. Além disso, exploramos os avanços na deteção não intrusiva de humanos e propomos uma taxonomia para a classificação dessas novas técnicas de deteção. Esta tese também descrevemos exemplos concretos de implementação do nosso paradigma Humano-no-Loop. Como tal, incluímos detalhes dos casos de estudo, associados ao Humano–no–Loop dos Sistemas Ciber–Físicos, que implementados e exploramos os resultados deles.

Technology is changing the way we live and the way we interact with the world. We are witnessing advancements in several fields, from Internet services to quantum computing, personal assistants or even artificial intelligence. Internet of Things devices that surround us also increase in number every day. Furthermore, these devices have increasing capabilities, with more processing power, faster and more reliable communication mechanisms and more sensors to interact with the physical world. Internet of Things devices also allow us to create “smarter” systems. However, no matter how many devices and sensors make up a system, truly smart environments can only be developed by integrating humans into the overall system. Humans’ actions, emotions, intents, and desires can largely affect the way systems behave and perform, and they are able to either improve a system or make it perform worse. As such, we must design our systems with the human factor in mind, not only as an end-user but, above all, as a fully integrated “component” of the system. We now have at our disposal new means to perceive humans and better integrate them into emerging systems. Most humans now carry, at all times, smartphones that have several sensors, able to communicate with other devices and services, and even have the necessary processing power to make inferences about the hu-man states. At the same time with the proliferation of social networks, humans themselves can act as sensors (i.e., social sensors). Advances in radio-frequency and image processing are also making possible the development of new unobtrusive sensing technologies, that can be used to gather information on human activity and states, without the need for any human action. Additionally, we now have interactive agents/chatbots that allow for human–like interaction of systems with humans.In this thesis, we target all the aforementioned technology advancements. As a starting point, we identify, analyse and discuss state-of-the-art solutions for the Human–In–The–Loop–Cyber–Physical Systems paradigm. We then present a novel model for the Human–In–The–Loop–Cyber–Physical Systems paradigm, that considers humans in all phases of the cyber-physical loop. Additionally, we explore advancements in unobtrusive sensing of humans and propose a taxonomy for the classification of these novel sensing techniques. This thesis also describes concrete implementation examples of our Human–In–The–Loop paradigm. As such, we include details of our research work and associated case studies of Human–In–The–Loop–Cyber–Physical Systems, and present the respective results.