Learning-based approaches for robot localization and motion planning in human-robot shared environments

Abstract

In this thesis, contributions in the field of mobile robotics with a particular focus on assistive robotics are presented. The main subject addressed in this thesis is the navigation of robotic platforms taking into account the human component in robot decisions.

For a robotic platform to navigate in an environment, effective sensor fusion and perception techniques are needed, in particular, accurate robot localization techniques and reliable representations of the obstacles surrounding a robot are required. Due to these requirements, this thesis was divided into two parts, corresponding to the two main areas of the research. The first part of the thesis focuses on the problem of localization and representation of the environment, and the second part focuses on the different levels of planning, namely: mission planning, global planning and local motion planning.

As concerns the first part of the thesis, in order to improve robot localization in critical scenarios, where features of interest may not exist or be occluded, multimodal strategies are proposed, that use LiDAR, A-IPS and odometry, or only LiDAR and A-IPS, for localization using 2D occupancy grid maps. A map maintenance technique is also proposed that uses Reinforcement Learning (RL). Moreover, the HMap representation is also proposed, aiming to represent 3D environments with low computational and memory requirements, and fast access times. Methodologies for localization and Simultaneous Location and Mapping (SLAM) based on HMap, 2.5D and 3D representations are also presented. Contributions include different solutions for robot localization using 2D, 2.5D, 3D, HMap or Hybrid (2D and HMap) representations, as well as optimization methods to compute rigid transformations (3D and 6D) that minimize alignment errors between local and global maps, and loop closure detection methods. The results show that the proposed methods provide reliable robot localization and accurate representations in different test scenarios.

As concerns the second part of the thesis, in the context of mission planning, the classic problem of constructing a Euclidean minimum Steiner tree, using soft obstacles is addressed. For the global planning, a method based on the Rapidly-Exploring Random Tree (RRT) is proposed, where dynamic obstacles are considered. In addition, as concerns local motion planning, cost maps are used in RL and Deep RL (DeepRL) approaches, with contributions in the architecture of the methods and in the training techniques. For the local motion planning, in the context of assistive robotics and following a user-centered navigation paradigm, where the user's intent represents an important element in the decision of actions, different methods for robotic walkers and wheelchairs are presented. Using RL-based methods, the main goal is to find the safest paths in order to guarantee the safety of the platform and the user. Learning from the user's behavior and thus preventing risky situations was also an important concern. These methods are particularly important when considering that the users of these assistive devices suffer from different types of mobility limitations and have difficulty in safely controlling or maneuvering the assistive platforms. The reported results show the capabilities and limitations of the RL and DeepRL methods in local motion planning applications. For the problem of local motion planning in the context of assistive robotics, tests with volunteers were carried out in order to validate the different proposed methods, achieving very promising results. The methodologies presented were validated using online datasets, datasets acquired at ISR-UC and tests performed by volunteers. Particular focus was placed on validation using robotic platforms in real scenarios, with the various modules developed from scratch in ROS. The use of platforms developed in the ISR-UC HcMR lab, such as the InterBot and the robotic walker ISR-AIWALKER, was essential for the field validation of the proposed methods.

Esta tese propõe contribuições no domínio da robótica móvel, com particular foco em robótica de assistência. O principal objetivo desta tese é propor soluções para navegação de plataformas robóticas tendo em conta a componente humana nas decisões tomadas por robots. Para dotar um robot da capacidade de navegar num ambiente são necessárias técnicas de fusão sensorial e percepção, e em particular, são essenciais técnicas de localização precisa e representações fidedignas do espaço circundante ao robot. Devido a estes requisitos, esta tese foi dividida em duas partes, correspondentes às duas áreas centrais da investigação realizada. A primeira parte da tese dá ênfase aos problemas de localização e representação do ambiente. A segunda parte foca-se nos diferentes níveis de planeamento (missão, global e local).

No que diz respeito à primeira parte da tese, são propostas estratégias multimodais, utilizando LiDAR, A-IPS e odometria, ou apenas LiDAR e A-IPS, para localização baseada em grelhas de ocupação 2D, bem como uma técnica de manutenção de mapa que utiliza aprendizagem por reforço (RL). O objetivo destas técnicas é melhorar a localização de robots em cenários críticos, nos quais características de interesse podem não existir ou estar oclusas. É também proposta a representação HMap, onde os objetivos são a representação de ambientes 3D com baixos requisitos computacionais e de memória, e rápido acesso a elementos da representação. São apresentadas também metodologias para localização e localização e mapeamento simultâneo (SLAM) baseadas em representações HMap, 2.5D e 3D. As contribuições propostas incluem diferentes soluções para localização de robots utilizando representações 2D, 2.5D, 3D, HMap ou Híbridas (2D e HMap), assim como técnicas de otimização para obter transformações rígidas (3D e 6D) para minimizar erros de alinhamento entre mapas locais e globais, e métodos de detecção de loop closure. Os resultados obtidos dão evidências que a aplicação dos métodos propostos resulta numa localização estável e representação precisa em diferentes cenários de teste.

No que diz respeito à segunda parte da tese, no contexto do planeamento de missões, é abordado o problema clássico do cálculo da árvore Euclidiana mínima de Steiner, considerando obstáculos de custo variável. No contexto do planeamento global, é proposto um método baseado em árvores aleatórias de exploração rápida (RRT) onde é considerada a dinâmica de objetos. No caso do planeamento local, são utilizados mapas de custo em abordagens de RL e de aprendizagem por reforço profundo (DeepRL), com contribuições nas arquiteturas dos métodos e nas técnicas de treino. No contexto do planeamento local em robótica de assistência, seguindo um paradigma de navegação centrado no utilizador, são apresentados diferentes métodos para andarilhos robóticos e cadeiras de rodas, onde a intenção do utilizador representa um elemento importante na decisão de ações. Deste modo, são propostos métodos baseados em RL com o objetivo de obter caminhos seguros para as plataformas e com a capacidade de aprendizagem dos comportamentos do utilizador, tendo por objectivo mitigar situações de risco, garantindo a segurança do utilizador. Este tipo de metodologias é particularmente importante quando se considera que os utilizadores destes dispositivos de assistência sofrem de diferentes tipos de limitações de mobilidade e têm dificuldades em controlar ou manobrar com segurança as plataformas. Os resultados obtidos evidenciam as capacidades dos métodos RL e DeepRL na resolução do problema do planeamento local, bem como algumas das suas limitações. Para o problema do planeamento local no contexto de robótica de assistência, foram realizados testes com voluntários de modo a validar os diferentes métodos propostos, sendo os resultados obtidos muito promissores. As metodologias apresentadas foram validadas recorrendo a datasets disponíveis publicamente, datasets adquiridos no ISR-UC e testes realizados por voluntários. A validação focou-se principalmente na utilização de plataformas robóticas em cenários reais, com os vários módulos desenvolvidos de raiz em ROS. A utilização de plataformas desenvolvidas no laboratório HcMR do ISR-UC, como o InterBot ou o andarilho robótico ISR-AIWALKER, foi essencial para a validação experimental dos métodos propostos.