Natural navigation solutions for AMRs and AGVs using depth cameras

Abstract

A automação é um dos campos de desenvolvimento mais rápido da robótica. Com o crescente interesse na automação de processos, tanto para eficiência como para segurança, fornecer aos robôs a capacidade de navegação autónoma é de suprema importância. As primeiras abordagens para possibilitar navegação autónoma de robôs envolveram a colocação de bandas magnéticas no chão, traçando uma trajetória pré-definida. No entanto, surgem problemas sempre que é necessário alterar a trajetória de interesse ou quando a banda magnética se danifica. Com o desenvolvimento de sensores de profundidade como os LIDARs (Light Detection and Ranging) e câmaras de profundidade (depth cameras), surgiu uma nova maneira de lidar com este desafio: o SLAM (Simultaneous Localisation and Mapping - Localização e Mapeamento Simultâneos). O SLAM é um desafio que está longe de ser trivial pois implica duas questões aparentemente paradoxais ("Como construir um mapa sem saber a localização do robô?" e "Como localizar um robô sem ter acesso a um mapa?"). Ao longo deste trabalho, alguns métodos SLAM (HectorSLAM, Gmapping e RTAB-Map) são implementados e avaliados usando ROS (Robot Operating System). Uma câmara de profundidade Intel RealSense D435i é usada como o sensor principal e vários testes práticos são feitos usando um AGV (Automated Guided Vehicle) desenvolvido pela Active Space Technologies. Estes testes consistem em gravar dados de profundidade e dados provenientes de uma IMU (Inertial Measurement Unit - dispositivo de medição de inércia) contida na câmara com o AGV servindo de plataforma móvel para explorar o local de testes. As medições ficam disponíveis para análise offline através de ficheiros ROS bag. Estes ficheiros permitem várias execuções do mesmo teste e avaliação direta dos diferentes algoritmos através da comparação dos mapas resultantes. Para além disso, um algoritmo de pathfinding é também implementado, o que permite total autonomia do robô. Com o intuito de otimizar técnicas de mapeamento, alguns algoritmos de deteção de objetos são adicionados ao sistema para lidar com um tipo de obstáculos que pode aparecer à frente do robô e diminuir a qualidade dos resultados: movimentação de pessoas. Através do uso da deteção de objetos, as pessoas são detetadas e removidas da imagem de profundidade. Em seguida, comparam-se os mapas resultantes, com e sem a aplicação deste filtro da imagem de profundidade. Algoritmos de deteção de objetos são também utilizados para adicionar outra camada à navegação, adicionando a capacidade de parar e retomar a publicação de comandos de velocidade fornecidos pelo algoritmo de pathfinding através da interpretação de semáforos. Este trabalho é feito no âmbito do projeto AMR-UVC desenvolvido pela Active Space Technologies. Este projeto visa expandir a oferta de AGVs da empresa através do desenvolvimento de um AGV totalmente autónomo com capacidades de desinfeção. O projeto é motivado pela pandemia atual e o produto final poderá ser usado em qualquer ambiente médico ou industrial que requeira descontaminação do SARS-CoV-2 ou outros agentes biológicos.

Automation is one of the most fast developing fields of robotics. With the ever growing interest in automating processes, both for efficiency or safety, the ability to provide robots with autonomous navigation capabilities is of paramount significance. The first approaches to enable autonomous robot navigation involved magnetic strips on the floor, with the robot following a pre-established path. However, problems arise whenever it is necessary to change the trajectory of interest or if the magnetic tape is damaged. With the development of depth sensors, namely LIDARs (Light Detection and Ranging) and depth cameras, a new way of tackling this challenge has emerged: SLAM (Simultaneous Localisation and Mapping). The SLAM problem is far from trivial in the way that it implies two seemingly paradoxical questions ("How to build a map without knowing the robot's location?" and "How to locate the robot without a map?"). Throughout this work, some SLAM methods (HectorSLAM, Gmapping and RTAB-Map) are implemented and evaluated using ROS (Robot Operating System). An Intel RealSense D435i depth camera is used as the main sensor and various practical tests are made using an AGV (Automated Guided Vehicle) developed by Active Space Technologies. Tests consist in recording depth and IMU (Inertial Measurement Unit) data from the depth camera with the AGV serving as a mobile platform, exploring our test location. Measurements are then available for offline analysis through ROS bag files. These files allow multiple runnings of the same test and direct assessment of the different algorithms by comparing the resultant maps. Furthermore, pathfinding is implemented, which allows for full robot autonomy. In order to optimise mapping techniques, some object detection algorithms are added to the system to deal with various obstacles that can appear in the robot's sight and degrade the quality of the results, e.g., moving people. Through the use of object detection algorithms, people are detected and removed from the depth image. Then, the resulting maps with and without the application of this depth image filter are compared. Object detection algorithms are also used to add another layer to navigation, yielding the ability to stop and resume the velocity commands provided by the pathfinding algorithm through the interpretation of traffic lights. This work is done as part of the AMR-UVC project developed by Active Space Technologies. This is a project that seeks to expand the AGV offering of the company by developing a fully autonomous AGV with disinfection capabilities. The project is motivated by the ongoing pandemic and the final product can be used in any medical or industrial setting that requires decontamination from the SARS-CoV-2 or other biological agents.