Development of a Remote 3D Visualisation, Control and Simulation Framework for a Robotic Head

Abstract

Neste texto, vamos apresentar o trabalho sobre a conceção e desenvolvimento de uma arquitetura de visualização remota 3D, controlo e simulação baseada em ROS. Esta arquitetura tem o propósito de estender a usabilidade de um sistema desenvolvido em trabalhos anteriores por esta equipa de investigação durante o projeto CASIR.Os recentes avanços na tecnologia de desenvolvimento robótico irão fornecer o suporte necessário para um avanço exponencial na pesquisa robótica, na verdade, a previsão é que a robótica vai testemunhar um boom num futuro próximo.Entre estas tecnologias, ambientes de desenvolvimento, tais como a arquitectura “Robot Operating System” (ROS), ferramentas de simulação e a tendência recente de laboratórios robóticos remotos, sem dúvida desempenharão um papel importante na promoção destes avanços. Eles provavelmente irá diminuir a carga sobre os criadores e utilizadores enquanto eles operam os sistemas robóticos lhes foram confiadas, sendo este muitas vezes caro, equipamento pesado ou muito diversificado e apoiada por sistemas complexos de software.Com isto em mente, a solução proposta foi implementada utilizando ROS, e projetada para ser usada de três maneiras diferentes. Mais especificamente, irá atender às necessidades de dois grupos de utilizadores - utilizadores e criadores locais e remotos.A solução passa por garantir acesso a hardware e a um simulador aos utilizadores locais, tendo o apoio de uma interface gráfica intuitiva e por fim fornecer acesso a usuários remotos através de um laboratório robótico remoto experimental. Experimentação usando o ambiente simulado permite a recriação de experiências off-line, a fim de desenvolver e testar novos algoritmos ou componentes de forma segura e controlável. Experimentação remota permitirá que pesquisadores externos ao laboratório terem acesso ao sistema CASIR-IMPEP, de uma forma segura e organizada através de um site interativo.Para este fim, várias ferramentas e métodos foram analisados e comparados, desde ferramentas de modelação 3D como Blender e Maya, software simulação robótica como Gazebo e Webots, várias opções para a criação de software com interface gráfica de utilizador e soluções web para abrir o ROS a máquinas não-ROS através de um navegador web.De seguida, a estrutura foi implementada, consistindo especificamente em: (1) um simulador totalmente funcional integrado com o meio de ROS, incluindo uma representação fiel do robô IMPEP com todos os actuadores e sensores emulado virtualmente, um modelo humano com capacidades de animação e características suficientes para recriação de cenários de interação do humano/robô, e uma configuração experimental virtual com características semelhantes às do espaço de trabalho real do laboratório; (2) uma interface de utilizador totalmente funcional e intuitiva, com capacidades de representação de imagem 2D e 3D, permitindo que tanto os utilizadores comuns como avançados e até criadores possam correr conjuntos específicos de módulos; (3) um laboratório robótico remoto que pode ligar os utilizadores remotos ao resto da arquitetura através de um navegador web, proporcionando-lhes o controlo básico da plataforma de simulação, através de um controlador joystick virtual.Finalmente, a solução proposta foi cuidadosamente e sistematicamente testados em condições operacionais, de modo a avaliar as suas qualidades em termos de recursos, facilidade de uso e desempenho. Os resultados finais confirmaram cumprir os objetivos gerais deste trabalho - (1) garantir acesso a hardware e a um simulador aos utilizadores locais, tendo o apoio de uma interface gráfica intuitiva; (2) garantir que os utilizadores remotos tenham acesso a esses recursos através de um laboratório robótico remoto - e fornecer os recursos necessários a fim de garantir a criação de uma arquitetura amigável para o utilizador de alta performance. Cada componente age de uma forma sinérgica, de modo a complementar a arquitetura central do projecto CASIR de uma forma simples, modular e otimizada, tentando na íntegra para minimizar o uso de recursos e carga computacional do computador principal.No final desta dissertação, serão retiradas conclusões sobre o sucesso e o potencial deste esforço de pesquisa e desenvolvimento, propondo também as bases para o trabalho futuro.

In this text, we will present work on the design and development of a ROS-based remote 3D visualisation, control and simulation framework. This architecture has the purpose of extending the usability of a system devised in previous work by this research team during the CASIR project.Recent advances in robotic development technology will provide the necessary support for an exponential breakthrough in robotic research; in fact, the forecast is that robotics will be witnessing a boom in the near future. Among this technology, development environments such as the Robot Operating System (ROS) framework, simulation tools and the recent trend of remote robotic laboratories will undoubtedly play an important role in promoting this breakthrough. They will most probably lessen the burden on developers and users while they operate the robotic systems they have been entrusted, many times consisting of expensive, cumbersome, diverse equipment supported by complex, intricate software systems.With this in mind, the proposed solution was implemented using ROS, and designed to be used in three different ways. More specifically it will attend the needs of two user groups -- local and remote users and developers. It comprises hardware and simulator access to local users, having an intuitive graphical user interface to support the use of the aforementioned feature, and provides access to remote users through a remote experimental robotic laboratory. Experimentation using the simulated environment allows for the enactment of offline experiments, in order to safely and controllably develop and test new algorithms or components. Remote experimentation will allow researchers outside the laboratory to have access to the CASIR-IMPEP system, in a secure and organised fashion through an interactive website.To this end, several tools and methods were analysed and compared, from 3D modelling tools such as Blender and Maya, robotic simulator software such as Gazebo and WeBots, several options for user interface software creation, and web solutions to open the Robot Operating System (ROS) to non-ROS machines through a web browser. Next, the framework was implemented, specifically consisting of: (1) a fully functional simulator integrated with the ROS environment, including a faithful representation of the IMPEP robot with every actuator and sensor emulated virtually, a human model with animation capabilities and enough features for enacting human robot interaction scenarios, and a virtual experimental setup with similar features as the real laboratory workspace; (2) a fully functional and intuitive user interface with 2D and 3D image representation capabilities, also allowing both common and advanced users or developers to launch specific sets of modules; (3) a remote robotic laboratory that can connect remote users to the rest of the framework via a web browser, providing them basic control of the simulated platform, via a virtual joystick controller.Finally, the proposed solution was thoroughly and systematically tested under operational conditions, so as to assess its qualities in terms of features, ease-of-use and performance. The final outcome was shown to fulfil the overall goals of this work -- (1) the development of hardware and simulator access to local users, with support of a intuitive local GUI; (2) providing access to these assets to remote users through a remote robotic lab -- and to provide the many features that ensure that a user-friendly, high-performance framework was developed.Every component acts in a synergistic fashion so as to complement the core CASIR framework in a simple, modular, and optimised fashion, trying in full to minimise resource usage and computational burden of the main computer.At the end of this dissertation, conclusions concerning the success and potential of this research and development effort are drawn, and the foundations for future work will be proposed.