Towards Telepresence and Robot Teleoperation

Abstract

A comunicação interpessoal e a interação física com o ambiente imediato dependem de nossa consciência do espaço e do movimento. A distância física a uma pessoa ou objeto afeta o nosso comportamento, influenciando a forma como estabelecemos contacto visual para nos expressarmos ou como nos movimentamos. Isso sugere que as tecnologias de comunicação virtual devem proporcionar a sensação de proximidade de outras pessoas ou da nossa presença em um ambiente remoto. A percepção do espaço e seu uso (proxêmica) devem replicar situações reais. A percepção que a pessoa tem de si própra, e de como interage com o mundo define sua experiência de presença. A nossa percepção de espaço e movimento depende não apenas da percepção visual, mas também do sistema vestibular, propriocepção e processos cognitivos. Existem vários sistemas de entrada sensorial, como visão, audição, propriocepção, kinestésico, vestibular, olfativo e térmico que contribuem com informações para atualizar continuamente nossa representação da estrutura espacial do ambiente. Todas essas informações permitem-nos navegar com eficiência em um ambiente e estabelecer a relação entre nosso corpo e o mundo .Como a imersão visa fornecer estímulos que iludem o sistema sensorial, é possível criar uma consistência entre o feedback sensorial externo e a informação sensorial interna (proprioceptiva, vestibular) e os modelos cognitivos do cérebro.Esta investigação explora meios para induzir a sensação de telepresença em comunicações centradas no ser humano e em teleoperações de robôs remotos. Uma vez que os robôs são úteis ao permitir que humanos experimentem e executem ações em lugares distantes, os resultados de estudos sobre fatores humanos são usados para fornecer um conjunto de recomendações para a construção de sistemas imersivos de teleoperação. Além disso, foi desenvolvido um setup de testes para estudar questões perceptivas que afetam o desempenho da tarefa enquanto os utilizadores manipulam o ambiente, seja por meio de interfaces tradicionais ou imersivas. Na pesquisa de teleoperação, focamos no design e avaliação de novos mecanismos de interação imersiva para teleoperar um robô remoto. Exploramos a noção de telepresença e incorporação física para criar o conceito de tele-incorporação. Assim, contribuindo para transferir virtualmente o operador para o robô remoto, aprimorando a operação do robô, minimizando a carga de trabalho cognitiva e melhorando o desempenho das tarefas. Além disso, em comunicações mediadas centradas no ser humano, os benefícios reais de reuniões face a face, como estabelecimento de contato olho no olho, reconhecimento de gestos, linguagem corporal ou expressões faciais, não são suportados por tecnologias de conferência de commodities, como Zoom, Teams ou Skype. Para transmitir essas pistas sociais e melhorar a copresença, esta investigação propõe uma estrutura de baixo custo para suportar conferências tridimensionais por meio de realidade aumentada (AR) baseada em telepresença. A contribuição é uma solução de reconstrução de modelo 3D online incremental útil para interação em tempo real em espaços de trabalho de realidade mista, ambientes de realidade aumentada ou interações humano-computador. A abordagem explora a síntese de visão virtual através da estimativa de movimento corporal e sensores híbridos compostos por câmeras de vídeo e uma câmera de profundidade.Um método baseado em luvas vestíveis também foi desenvolvido para execução natural de tarefas em cenários de interação virtual. Os robôs de telepresença estão cada vez mais populares em interações sociais envolvendo assistência médica, assistência a idosos, orientação ou reuniões de escritório. Nas interações mediadas por robôs, existem dois tipos de experiências psicológicas humanas a serem consideradas: (1) telepresença, na qual um utilizador desenvolve a sensação de estar presente num local físico remoto, próximo ao interlocutor remoto, e (2) copresença, em que um utilizador percebe a outra pessoa como estando presente localmente com ele ou ela. Além disso, este trabalho apresenta uma revisão de literatura sobre desenvolvimentos que suportam interações sociais robóticas, contribuindo para melhorar o sentimento de presença e copresença via mediação robótica.

Interpersonal communication and physical interaction with the immediate environment depend upon our awareness of space and motion. The physical distance to a person or object affects our behaviour, influencing the way how we establish eye contact to express ourselves or how we move. This suggests that virtual communication technologies should provide the sensation of the proximity of other people or our presence in a remote environment. Space perception and its use (proxemics) are supposed to replicate real situations. How a person perceives himself, and the world and interacts with it, defines his presence experience. Our space and motion perception depends not only on visual perception, but also on the vestibular system, proprioception and cognitive processes. There are several sensory input systems, such as vision, auditory, proprioception, kinesthetic, vestibular, olfactory and thermal which contribute with information to continuously update our representation of the spatial structure of the environment. All this information enables us to efficiently navigate in an environment and establish the relationship between our body and the world. As immersion aims at providing stimuli that illude the sensory system, it is possible to create a consistency between outside sensory feedback and inside sensory information (proprioceptive, vestibular), and the brain's cognitive models. This research explores means to induce the sense of telepresence in human-centered communications and in remote robot teleoperations. Since robots are useful to enable humans to experience and perform actions in distant places, results from studies on human factors are used to provide a set of recommendations for the construction of immersive teleoperation systems. Moreover, a testbed has been developed to study perceptual issues affecting task performance while users manipulate the environment, either through traditional or immersive interfaces. In teleoperation research, we focus on the design and evaluation of new immersive interacting mechanisms for teleoperating a remote robot. We explore the notion of telepresence and physical embodiment to create the tele-embodiment concept. Thus, contributing to virtually transferring the operator to the remote robot, enhancing robot operation, minimizing the cognitive workload and improving task performances. Additionally, in human-centered mediated communications, real face-to-face meeting benefits, like eye-to-eye contact establishment, gesture reconnaissance, body language or facial expressions, are not supported by commodity conferencing technologies such as Zoom, Teams or Skype. To transmit these social cues and enhance copresence, this research proposes a low-cost framework to support three-dimensional conferencing through augmented reality (AR) based on telepresence. The contribution is an incremental online 3D model reconstruction solution useful for real-time interaction in mixed reality workspaces, augmented reality environments or human-computer interactions. The approach explores virtual view synthesis through body motion estimation and hybrid sensors composed of video cameras and a depth camera. A wearable glove-based method was also developed for natural task execution in virtual interaction scenarios. Telepresence robots are becoming popular in social interactions involving health care, elderly assistance, guidance, or office meetings. In robot-mediated interactions, there are two types of human psychological experiences to consider: (1) telepresence, in which a user develops a sense of being present in a remote physical location, near the remote interlocutor, and (2) co-presence, in which a user perceives the other person as being present locally with him or her. Moreover, this work presents a literature review on developments supporting robotic social interactions, contributing to improving the sense of presence and co-presence via robot mediation.