Segmentação e reconhecimento de gestos da mão humana

Abstract

Os robôs industriais têm vindo a ter um papel importante no sector industrial. A sua abrangência às pequenas e médias empresas (PMEs) é importante, mas a complexidade da programação é um grande entrave. Esta necessita de técnicos especializados, e no caso da programação offline exige um grande investimento em programas informáticos e um longo período de treino até que se consiga uma utilização eficiente. No sentido de naturalizar a interacção com os robôs tem existido ao longo dos últimos anos um grande esforço relativamente ao desenvolvimento de interfaces Homem-robô (HRI). Esta dissertação pretende contribuir para essa investigação, sendo essa interacção efectuada recorrendo aos gestos da mão humana. São considerados vários gestos, tanto estáticos como dinâmicos, e quando estes são reconhecidos, é dada uma ordem de operação ao robô. Ou seja, o robô executa a operação desejada com um gesto executado pelo utilizador. O reconhecimento dos gestos estáticos e dinâmicos é feito recorrendo a dois métodos diferentes. Para o reconhecimento de gestos estáticos recorre-se a uma rede neuronal artificial (ANN) enquanto que para o reconhecimento de gestos dinâmicos utilizam-se modelos ocultos de Markov (HMMs). Estes métodos mostram que são adequados neste tipo de aplicações, obtendo-se uma taxa de reconhecimento global de 99,83%, num grupo de 12 gestos estáticos, e 94,20%, num grupo de 10 gestos dinâmicos, efectuados pelo mesmo utilizador que gerou os dados de treino e aprendizagem. Para um utilizador diferente verifica-se uma taxa de reconhecimento global de 99,75% e 93,60%, respectivamente. Com o sistema proposto torna-se assim possível que um utilizador interaja com um robô industrial de forma mais intuitiva e natural. Assim o utilizador pode operar um robô, através de gestos, fazendo com que este execute movimentos, guarde posições, voltar a posições previamente guardadas, programar ciclos de trabalho, entre outras tarefas relevantes à empresa onde está inserido