Please use this identifier to cite or link to this item: http://hdl.handle.net/10316/97920
DC FieldValueLanguage
dc.contributor.advisorPaulo, João Luís Ruivo Carvalho-
dc.contributor.advisorPeixoto, Paulo José Monteiro-
dc.contributor.authorDiogo, Miguel António de Figueiredo Moura-
dc.date.accessioned2022-02-02T23:00:47Z-
dc.date.available2022-02-02T23:00:47Z-
dc.date.issued2021-11-18-
dc.date.submitted2022-02-02-
dc.identifier.urihttp://hdl.handle.net/10316/97920-
dc.descriptionDissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e Tecnologia-
dc.description.abstractInteligência artificial (IA) é uma área da computação responsável por criar algoritmos capazes de realizar tarefas que requerem inteligência humana. Uma destas tarefas é reconhecimento de gestos humanos, que tem como objectivo analisar os movimentos do corpo humano ao longo do tempo por forma a discriminar/distinguir diferentes gestos. Reconhecimento de gestos implica capacidade de sentir a pose desse humano ao longo do tempo, o que geralmente é feito com câmaras e recorrendo outra área de IA chamada visão por computador.Esta dissertação propõe um pipeline que reconhece gestos humanos a partir de 4 câmaras Microsoft Kinect V2. O pipeline proposto pode ser divido em 3 partes: fusão de skeleton data gerada por 4 câmaras RGB-D, codificação numa imagem da informação fundida e reconhecimento de gestos a partir dessas imagens através de algoritmos de aprendizagem de máquina. De cada câmara é obtida uma série temporal de posições 3D de juntas. Para obter posições tridimensionais, duas das coordenadas são calculadas por OpenPose, e a restante provém da informação de profundidade lida pelas câmaras. As quatro séries temporais são fundidas com um filtro de Kalman. Na segunda parte do pipeline, a série temporal é codificada numa imagem. Dois métodos diferentes são testados para a codificação da série temporal numa imagem: gramian angular fields e recurrence plots. Por último uma rede neural convolucional (CNN) é usada para distinguir sequências de gestos codificadas nas imagens.O nosso pipeline consegui obter uma precisão de 87.8\% no nosso dataset usando a codificação recurrence plot. No entanto, o nosso algoritmo de codificação de skeleton data em imagens e alimentação de uma CNN com essas imagens foi testado não só com um dataset nosso, mas também com outros 2 públicos.por
dc.description.abstractArtificial Intelligence is a field of computer science responsible for creating algorithms capable of executing tasks that have traditionally required human intelligence. One of these tasks is \acrfull{har}, whose purpose is to analyze human body movements through time and differentiate between different actions. HAR algorithms rely on the capacity to sense a human body's pose through time, which is generally done with cameras through another field in AI called computer vision.This thesis proposes a pipeline that recognizes human actions from 4 cameras Microsoft Kinect V2. The proposed pipeline can be divided into three parts: the fusion of skeleton data attained from 4 RGB-D cameras, the conversion of the fused data into an image, and action recognition from those images through machine learning algorithms. A time series of 3D joints is extracted from each one of the four cameras. Two of the joint coordinates are computed by the OpenPose algorithm, and the remaining one comes from depth information measured by the cameras. The four time series are fused with a Kalman filter. On the second part of the pipeline, the time series is converted into an image. Two different methods are tested to convert a time series into an image: the gramian angular fields and recurrence plots. Finally, the image that encodes skeleton data is feed into a convolutional neuronal network to recognize the action sequence being performed.Our pipeline manages to attain an accuracy of 87.8\% on our dataset while recurrence plots to encode time series into an image. Nevertheless, our algorithm to convert time series into images and feed those images into a CNN was tested with our dataset and two other public datasets.eng
dc.language.isoeng-
dc.rightsopenAccess-
dc.rights.urihttp://creativecommons.org/licenses/by/4.0/-
dc.subjectCNNpor
dc.subjectReconhecimento de gestos humanospor
dc.subjectFusão de informação RGB-Dpor
dc.subjectCNNeng
dc.subjectHuman gesture recognitioneng
dc.subjectRGB-D data fusioneng
dc.titleSkeleton Fusion for Gestures Recognition in AugmentedReality Environmentseng
dc.title.alternativeFusão de Esqueletos e Reconhecimento de Gestospor
dc.typemasterThesis-
degois.publication.locationDEEC-
degois.publication.titleSkeleton Fusion for Gestures Recognition in AugmentedReality Environmentseng
dc.peerreviewedyes-
dc.identifier.tid202920518-
thesis.degree.disciplineEngenharia Electrotécnica e de Computadores-
thesis.degree.grantorUniversidade de Coimbra-
thesis.degree.level1-
thesis.degree.nameMestrado Integrado em Engenharia Electrotécnica e de Computadores-
uc.degree.grantorUnitFaculdade de Ciências e Tecnologia - Departamento de Eng. Electrotécnica e de Computadores-
uc.degree.grantorID0500-
uc.contributor.authorDiogo, Miguel António de Figueiredo Moura::0000-0002-1865-2125-
uc.degree.classification16-
uc.degree.presidentejuriBatista, Jorge Manuel Moreira de Campos Pereira-
uc.degree.elementojuriBarreto, João Pedro de Almeida-
uc.degree.elementojuriPeixoto, Paulo José Monteiro-
uc.contributor.advisorPaulo, João Luís Ruivo Carvalho-
uc.contributor.advisorPeixoto, Paulo José Monteiro::0000-0002-3680-564X-
item.grantfulltextopen-
item.fulltextCom Texto completo-
item.languageiso639-1en-
Appears in Collections:UC - Dissertações de Mestrado
Files in This Item:
File Description SizeFormat
Tese_versao_final.pdf1.2 MBAdobe PDFView/Open
Show simple item record

Page view(s)

34
checked on Sep 16, 2022

Download(s)

24
checked on Sep 16, 2022

Google ScholarTM

Check


This item is licensed under a Creative Commons License Creative Commons