Application of Mixed Reality Devices for Robot Manipulator Programming: Aspects Related to Graphical Animations

Abstract

O objetivo desta dissertação consiste na descrição do projeto desenvolvido com o propósito de criar uma interface completamente nova, que implementa tecnologias de Realidade Mista para a programação e monitorização de robôs manipuladores. Esta interface tem como intuito principal expandir o número de pessoas com capacidades para programar e monitorizar robôs manipuladores, ao tornar o conhecimento avançado de linguagens de programação um requerimento opcional e não fundamental. A motivação para este projeto começa pela vontade de proporcionar avanços em interfaces de comunicação Homem-Máquina (IHM), e na demonstração das vantagens proporcionadas pelas tecnologias de Realidade Mista na monitorização e programação de processos robóticos avançados (Produção aditiva, robôs colaborativos, entre outros). Ter acesso direto a informação como conteúdo visual aplicado no espaço e em tempo real, antecipar trajetórias, ou até modificar o movimento de um robô através de som ou gestos manuais, são algumas das grandes vantagens proporcionadas por esta tecnologia.O projeto desenvolvido durante a realização desta tese de mestrado resultou na criação de duas aplicações para um Microsoft HoloLens, ambas com propósitos diferentes. A primeira aplicação (Path Visualization) consiste numa interface de realidade mista que permite aos utilizadores o total controlo sobre um robô manipulador e ao mesmo tempo uma completa monitorização das trajetórias realizadas pelo mesmo. A segunda aplicação (Graphical Path Manipulation) consiste num novo ambiente de realidade mista que permite que os utilizadores criem uma trajetória nova para o robô, facilmente ajustável sempre que necessário, e também proporciona a possibilidade de alterar os parâmetros inerentes ao movimento do robô. Todas as trajetórias são depois enviadas pela aplicação para o robô real que as executa como definido. Esta dissertação apenas terá foco no desenvolvimento realizado pelo escritor, que consiste nas aplicações de realidade mista para o Microsoft HoloLens. As aplicações foram realizadas utilizando os softwares Unity3D, Vuforia e Visual Studio.Apesar do projeto não ser direcionado para uma tarefa especifica, pode ser facilmente adaptado para uma, estando o conceito disponível para avanços futuros.

The main goal of this Master Thesis’ dissertation consists in describing a new project developed with the purpose to create a completely new interface, which provides a generic implementation of Mixed Reality to monitor, optimize and program robot manipulators’ tasks. This interface will hopefully expand the range of people with capabilities to program industrial robots, since the advanced knowledge of programming languages will be an optional requirement. The motivation for this project begins with the will to improve Human-Machine Interfaces (HMI) and to demonstrate that an approach with Mixed Reality can lead to huge improvements in monitoring and programming advanced robotic tasks, such as Additive-manufacturing, collaborative robots, amongst others. Perceiving information as direct visual content, in real time, anticipate trajectories, or even apply modifications to a robot motion with gesture or sound inputs, are some of the great advantages of this technology. The project developed in this master thesis resulted in two apps for a Microsoft HoloLens each with different purposes. The first (Path Visualization) is a Mixed Reality interface that allows users to control a robotic manipulator, visualize its movement and fully monitor the task assigned to the robot. The second app (Graphical Path Manipulation) is a new Mixed Reality environment that allows users to create a completely new path or adjust one, as well as enabling the possibility to change motion parameters and teach the new/adjusted path trajectory to the robot. This Master Thesis will focus on all the development, made by the writer, to create the Mixed Reality applications for the Microsoft HoloLens. This was possible using the Unity3D, Vuforia and Visual Studio software interfaces.Although this project’s purpose is not to focus on a specific industrial task, it can be easily adapted posteriorly to any kind of robotic task desired. The concept however is open for further studies.