Object Detection and Obstacle Avoidance for Smart Walkers Using Computer Vision

Abstract

With life expectancy growing every year, elderly and disabled people are increasingly in need of assistance in their daily life activities due to their mobility issues.The search for a better quality of life for these people has led to an increased demand for walking aids in recent years.The aim of this research was to integrate vision and artificial intelligence into a walker with brakes, making it possible to detect and avoid dangerous situations, helping people with mobility problems to live safer lives by reducing the limitations imposed by their condition.In this regard, the walker has been equipped with a Raspberry Pi camera connected to an NVIDIA Jetson Nano board running a deep learning model.The camera continuously monitors the environment in front of the walker and the neural network processes this information and outputs the decision that best ensures the user's safety. For that purpose, the deep learning model was trained to output one of four options: Free Way, Left Turn, Right Turn and Full Stop. In order to train the neural network, a dataset was collected around by the DEEC. Each frame was then labelled, and the dataset was divided into three subsets: training, testing, and validation.By integrating vision and artificial intelligence, the walker is able to navigate autonomously and respond to potential hazards such as walls, obstacles and stairs by activating the brakes, forcing the walker to turn or even stop. Ensuring the user's safety increases their independence and reduces the constraints imposed by their physical or cognitive limitations, thus helping them to lead a safer and more independent life.

Com a esperança de vida a aumentar, as pessoas com dificuldades motoras necessitam cada vez mais de assistência nas suas atividades diárias. A busca por uma melhor qualidade de vida por parte destas pessoas tem provocado um aumento da procura de auxiliares de marcha, nos últimos anos.Esta investigação teve como objetivo a incorporação de visão e inteligência artificial num andarilho com travões, permitindo identificar e evitar situações de perigo, ajudando as pessoas com problemas de mobilidade a ter uma vida mais segura atenuando as limitações impostas pela sua condição.Tendo em vista esse objetivo, o andarilho foi equipado com uma câmara Raspberry Pi ligada a uma placa NVIDIA Jetson Nano que corre um modelo de aprendizagem profunda. A câmara permite a monitorização contínua do ambiente em frente do andarilho e a rede neuronal processa esta informação, determinando a decisão que melhor garanta a segurança do utilizador. Com esse propósito, o modelo de aprendizagem profunda foi treinado para produzir uma de quatro opções: Free Way, Left Turn, Right Turn e Full Stop. Para treinar a rede neural, o dataset foi criado por imagens recolhidas pelo DEEC. Cada imagem foi então etiquetada e o dataset foi dividido em três subconjuntos: treino, teste e validação.Ao integrar a visão e a inteligência artificial, o andarilho tem capacidade de navegar autonomamente e responder a potenciais perigos, como paredes, obstáculos e escadas, ativando os travões, forçando o andarilho a fazer curvas ou, até mesmo, a parar.Garantir a segurança do utilizador aumenta a sua independência e reduz os constrangimentos impostos pelas suas limitações físicas ou cognitivas, ajudando-o, assim, a ter uma vida mais segura e independente.