Edge Computing to Enable Onboard Computation of Deep Learning Algorithms in Service Robots

Abstract

Esta dissertação visa investigar a implementação e execução local de métodos de Inteligência Artificial (IA) em robôs de serviço do Instituto de Sistemas e Robótica - Universidade de Coimbra (ISR-UC). Estes sistemas têm requisitos de autonomia energética por forma a semanterem operáveis durante longos períodos de tempo, antes de necessitarem de recarregara bateria. Como tal, o uso de inteligência artificial na arquitectura implementada de Central Processing Unit (CPU) + Graphics Processing Unit (GPU) implica diversos constrangimentos técnicos, incluindo energéticos, e pode ser mesmo inviável. Uma abordagem usando o paradigma de cloud computing, i.e. o envio de dados recolhidos localmente para servidores remotos com mais recursos computacionais, implica custos pesados de consumo de energia devido ao uso de recursos de rede bem como maior latência. Como tal, investigaremos uma abordagem de edge computing, i.e. o processamento de dados o mais perto possível do local em que o resultado será utilizado. Para a implementação da abordagem de edge computing foi construído um sistema composto pelo System on Module Jetson AGX Xavier, produzido pela NVIDIA, uma câmara estereo, um laser rangefinder e robô móvel. Este sistema tem como objectivo a verificação de normas de saúde públicas vitais durante a situação pandémica de COVID-19 recorrendo ao uso de modelos baseados em IA, nomeadamente o uso correcto de máscaras faciais e distânciamento social, proporcionando um consumo de potência sustentável numa plataforma robótica móvel.

This dissertation aims to research the possibility of implementing and executing AI methods on service robots previously developed at the ISR-UC. These systems have strict energy requirements in order to sustain services for long periods of time before they need recharged batteries. As such, the implementation of AI methods in general purpose computer architectures implies diverse constraints and might not be viable.A cloud computing approach, that is, the relocation of local data and processing to large, remote data centers with more powerful computing capabilities, still implies heavy power consumption due to the use of networking resources as well as a higher latency. As such, we choose an edge computing paradigm, i.e. the processing of data as close as possible to the place in which data is acquired and results are needed.To implement this edge computing approach, a system was implemented composed by the SOM Jetson AGX Xavier, designed and manufactured by NVIDIA, a stereo camera, a laser rangefinder and a mobile robot. This system aims to verify public health measures vital to the COVID-19 pandemic using AI based models, namely correct facial mask usage and social distancing, while maintaining low power consumption required by mobile platforms.The system is subject to various requirements such as real-time operation, i.e processing results in order to produce and display results in a short time span, and resource constraints such as the available number of CPU cores in a multi-process nature task and power consumption of the overall system.