A Multimodal HMI Approach for Interaction, User Modeling and Automatic Gait Analysis on a Robotic Walker

Abstract

This thesis proposes contributions in the domain of assistive robotics, focusing on user-centered methodologies towards intuitive and safe interaction with a robotic walker through novel modeling and analysis techniques. Robotic walkers are assistive robotic devices that offer mobility assistance to frail or elderly users, also providing a significant potential for lower limb rehabilitation. The goal of this thesis is to consider a holistic user-centered approach, in which the user is the focal point of the device operation. This involves the design of a Human-machine interface (HMI) that accurately estimates the user’s state and intention to guarantee his safety, as well as, the safer navigation of the device. Having awareness of the user’s state can leverage other applications, like the use of the device as a rehabilitation aid by providing gait analysis and therapy assessment. To cope with this goal, a robotic walker framework was developed, the ISR-AIWALKER, an instrumented robotic platform designed to conduct research on rehabilitation and assistive robotics. Using this framework, the proposed contributions of this work are: (i) an intuitive and safe HMI, boasting a novel robot-assisted navigation module for safe mobility assistance, (ii) novel short-range modeling techniques of the user’s lower limbs based on a multimodal sensor setup, and (iii) novel onboard gait analysis methods that learn the user’s gait pattern, aiming to help identify pathologies and assess therapy’s progression as a potential diagnostic tool for rehabilitation purposes. Following a user-centered paradigm, a novel vison-based HMI that introduces a hand gripping pattern analysis through machine learning (ML) is proposed, to ensure the user is adequately gripping the walker’s handles. Still focusing on the user, it is proposed a navigation method using utility theory and a rapidly exploring random tree technique to find the safest path according to the user’s intent. Taking into account the rehabilitation potential of walkers, this thesis contributes with the proposal of an onboard lower body motion capture and modeling system based on a multimodal sensor setup, used to classify the user’s gait pattern. This is an important contribution of this thesis and was achieved using computer vision techniques and ML algorithms. The gait analysis is performed with two distinct approaches: a supervised approach for the discrimination of different gait patterns, and a novel unsupervised approach to track the evolution of a single user’s gait pattern over time. This could contribute to the assessment of the rehabilitation process of each individual user, allowing finer therapy session planning. The proposed methodologies were evaluated by a group of volunteers that interacted with the ISR-AIWALKER, in a set of experiments designed to validate them. These experiments revealed promising results, that encourage further testing of the methods in a clinical environment, with patients exhibiting predominant gait disorders.

Esta tese propõe contribuições no domínio da robótica assistiva, focando-se em metodologias centradas no utilizador para uma interacção intuitiva e segura com andarilhos robóticos, através de novas técnicas de modelação e análise. Os andarilhos robóticos são dispositivos robóticos assistivos que oferecem assistência de mobilidade a utilizadores debilitados ou idosos, além de proporcionar um potencial significativo para a reabilitação dos membros inferiores. O objetivo desta tese é considerar uma abordagem holística centrada no utilizador, na qual o mesmo é o ponto central da operação do dispositivo. Para isso é necessário o design de uma interface homem-máquina que estime com precisão o estado e a intenção do utilizador de forma a garantir a sua segurança, bem como a navegação mais segura do dispositivo. Conhecer o estado do utilizador pode facilitar o desenvolvimento de outras aplicações, como o uso do dispositivo como ajuda para fins de reabilitação, fornecendo análise de marcha e avaliação terapêutica. Para alcançar esse objetivo, foi desenvolvido um andarilho robótico, o ISR-AIWALKER, uma plataforma robótica instrumentada projectada para realizar pesquisas sobre reabilitação e robótica assistiva. Com base nesta estrutura, as contribuições propostas deste trabalho são: (i) uma interface homem-máquina intuitiva e segura, integrando um inovador módulo de navegação para assistência de mobilidade segura, (ii) novas técnicas de modelação de curto alcance dos membros inferiores do utilizador com base numa estrutura de sensores multimodal, e (iii) novos métodos de análise de marcha a bordo, que aprendem o padrão de marcha do utilizador, visando ajudar a identificar patologias e avaliar a progressão da terapia, servindo como uma ferramenta de diagnóstico potencial para fins de reabilitação. Seguindo um paradigma centrado no utilizador, propõe-se uma nova interface homem-máquina baseada em visão que introduz uma análise dos padrões de pega através da aprendizagem máquina, para garantir que o utilizador agarra adequadamente as pegas do andarilho. Ainda focado no utilizador, é proposto um método de navegação baseado em teoria de utilidade e em rapidly exploring random trees (RRT) para encontrar o caminho mais seguro de acordo com a intenção do utilizador. Tendo em conta o potencial de reabilitação dos andarilhos, esta tese contribui com a proposta de um sistema de captura e modelação do movimento do membros inferiores, a bordo do andarilho, com base numa estrutura multimodal de sensores, usada para classificar o padrão de marcha do utilizador. Este é um importante contributo desta tese e foi alcançado usando técnicas de visão computacional e algoritmos de aprendizagem máquina. A análise da marcha é realizada com duas abordagens distintas: uma abordagem supervisionada para a discriminação de diferentes padrões de marcha e uma nova abordagem não supervisionada para seguir a evolução do padrão de marcha de um utilizador individualmente ao longo do seu processo reabilitativo. Esta última, poderá contribuir para a avaliação do processo de reabilitação de cada utilizador, permitindo um planeamento mais refinado das sessões de terapia. As metodologias propostas foram avaliadas por um grupo de voluntários que interagiram com o ISR-AIWALKER, através de um conjunto de testes projetados para validá-los. Esses testes revelaram resultados promissores, que incentivam testes adicionais dos métodos num ambiente clínico, com pacientes que apresentam distúrbios de marcha variados.