DeepRL-Based Motion Planning for Indoor Robot Navigation

Abstract

Robôs, impulsionados por consideráveis avanços tecnológicos, têm vindo a ser progressivamente integrados nas mais diversas áreas, contrariando a conceção de serem apenas ferramentas de suporte industrial. De entre as várias subdivisões da robótica, a robótica móvel - encarregue da criação de plataformas com a habilidade de navegar em ambientes interiores e exteriores - é uma das que mais tem contribuído para a expansão e disseminação de aplicações robotizadas. No que se refere a navegação robótica autónoma, o planeamento de caminho é a premissa responsável pela definição de um trajeto entre um ponto inicial/atual até um ponto final. No entanto, em ambientes desconhecidos ou não mapeados, a complexidade de definir um caminho aumenta significativamente, sendo necessário recorrer a informação sensorial para estabelecer um princípio de navegação local. Nesta dissertação é apresentada uma estratégia de planeamento de caminho, projetada para ambientes interiores inexplorados, baseada em Deep Reinforcement Learning (DeepRL). Contrariando as aplicações de navegação DeepRL que utilizam imagens do ambiente circundante diretamente como entrada das suas Redes Neuronais Artificiais, o método sugerido pré-processa os dados recolhidos em representações normalizadas do ambiente, denominadas costmaps. Numa tentativa de criar uma abordagem independente do tipo de sensor usado, tanto a rede neuronal como os restantes modelos computacionais empregados foram concebidos de raiz para atender às variações implementadas e aos requisitos do sistema. O algoritmo de planeamento de caminho apresentado pode ser decomposto em dois estágios distintos: treino e teste. Na fase de treino, um robô sob a influência do método de navegação local desenvolvido aprende, através de tentativa e erro, que ações deve eleger para atingir o seu ponto objetivo sem colidir com obstáculos. Durante o processo de treino é gerado, otimamente, um modelo regulado da rede neuronal responsável por suster, numa fase de testes posterior, a tomada de decisões de vertente navegacional do robô. Com o intuito de validar o planeador de caminho proposto, uma plataforma virtual apelidada de Turtlebot foi aplicada em vários ambientes de simulação, com e sem obstáculos. Adotando o algoritmo de planeamento de caminho concebido, o Turtlebot evidenciou comportamentos bastante promissores nos mais diversos meios virtuais, legitimando deste modo o sistema de navegação DeepRL desenvolvido.

Robots, driven by substantial technological advances, are no longer confined to executing industrial-related duties. Among the several subclasses of the widespread robotics field, mobile robotics - answerable for developing non-stationary platforms capable of navigating indoor and outdoor environments - has been one of the extents responsible for the diffusion of robot applications across various domains. Within robot navigation, motion planning is the primitive that establishes a route from an initial to a target point. In uncharted environments, however, the path definition can be a significantly more challenging task. Due to the inability to delineate a course based on map knowledge, a local navigation resolution is settled instead, with short-term paths being outlined according to the observed surrounding environment. This dissertation presents an original local motion planning strategy for unexplored indoor environments based on Deep Reinforcement Learning (DeepRL), a contemporary Machine Learning field. Typically, DeepRL navigation applications use raw environment data directly as input to their framework's Artificial Neural Networks (ANNs), which may format them towards the intrinsic properties of the robot's onboard cameras/lasers. Contrarily, in an effort to create a sensor-agnostic navigation approach, the proposed method pre-processes the collected sensory data into normalized environment representations named costmaps. To comply with the implemented variations and system requirements, the employed ANNs and complementary models were designed from scratch. The introduced path planning algorithm is partitioned into two distinct stages: training and testing. In the training phase, an intelligent mobile platform learns, via trial-and-error, which actions must be adopted to attain its target without colliding with obstacles. Optimally, training generates at least one fine-tuned model, further tested in an online stage, that empowers the robot to effectively perform a collision-free motion. To validate the presented local motion planning approach, a virtual robot - the Turtlebot - was applied in multiple simulation environments, with and without obstacles. Using the developed framework to sustain the Turtlebot's decision-making, promising results were yielded over several trials in both types of domains.