Please use this identifier to cite or link to this item: http://hdl.handle.net/10316/93890
Title: Deep Learning Based Human Activity Recognition: A Real-Time Perspective
Other Titles: Reconhecimento de Atividades Humanas Baseado em Aprendizagem Profunda: Uma Perspectiva de Tempo Real
Authors: Luís, Hugo Rafael Mendes
Orientador: Nunes, Urbano José Carreira
Keywords: Reconhecimento de Atividades Humanas; Robô Social; Robô de Serviço; Aprendizagem Profunda; Rede Neuronal Convolucional; Human Activity Recognition; Social Robot; Service Robot; Deep Learning; Convolutional Neural Network
Issue Date: 20-Nov-2020
Serial title, monograph or event: Deep Learning Based Human Activity Recognition: A Real-Time Perspective
Place of publication or event: DEEC
Abstract: Nas últimas duas décadas, houve um grande desenvolvimento de sistemas robóticos na área dos robôs de serviço, sociais e pessoais. Robôs têm vindo a ser integrados em cenários como: locais públicos, casas, hospitais, lares de idosos ou como recepcionistas. Este tipo de robôs irá beneficiar com a integração, na sua arquitetura, de um módulo de Reconhecimento de Atividades Humanas. Ter a capacidade de identificar uma variedade de atividades humanas permite uma interação homem-máquina mais diversa. Ao identificar humanos e interações sociais, os robôs serão capazes de adaptar o seu comportamento de navegação de acordo com as normas sociais. Habilitar robôs sociais com estas capacidades irá ajudar na futura integração destes robôs. O seu comportamento irá parecer mais natural, ajudando os humanos a desenvolver uma sensação de conforto em relação à presença do robô.O objetivo do trabalho de investigação da dissertação é desenvolver, treinar e avaliar uma \textit{framework} de reconhecimento da atividades humanas. Para tal, duas frameworks, (1) framework baseada em RGB e (2) framework baseada em esqueleto foram desenvolvidas, treinadas e avaliadas. É feita uma comparação, com base na precisão da classificação e no tempo de execução, do desempenho de ambas.As frameworks desenvolvidas são validadas primeiramente num dataset de reconhecimento de atividades humanas de grande escala. Após esta validação, a framework com melhor desempenho, tanto em termos de precisão de classificação como de tempo de execução, é validada num dataset de pequena escala colhido no Laboratório Human-Centered Mobile Robotics do Instituto de Sistemas e Robótica - Universidade de Coimbra.Os testes foram realizados em dois subconjuntos de classes com o objetivo de comparar a capacidade de generalização das frameworks quando treinadas e testadas em subconjuntos de classes com diferentes níveis de dificuldade. Os resultados obtidos correspondem às expectativas estabelecidas para cada framework desenvolvida. Ambas as frameworks conseguem identificar, com êxito, atividades no dataset de grande escala. No entanto, o desempenho no dataset de pequena escala necessita de investigação adicional.
Over the last two decades there has been a massive development of robotic systems in the field of service, social and personal robots. Robots are being deployed in scenarios such as: public places, homes, hospitals, elderly care centers or front desk applications. This type of robots will greatly benefit from the integration of a Human Activity Recognition module in their architecture. Having the ability to identify a variety of human activities allows for a more diverse human robot interaction. By identifying humans and their social interactions the robots will also be able to adapt their navigation behavior according to social norms. Empowering social robots with these capabilities will help towards the future deployment of such robotic systems. Their behavior will look more natural, helping humans develop a sense of comfort towards the robot’s presence.The objective of the dissertation research work is to develop, train and evaluate a Human Activity Recognition framework. For such purpose two frameworks, (1) RGB-based framework and (2) Skeleton-based framework were developed, trained and evaluated. A performance comparison between both frameworks is made based on classification accuracy and runtime.The developed frameworks are primarily validated on a large-scale human activity recognition dataset. After validation, the best performing framework, in terms of both classification accuracy and runtime, is validated in a small-scale dataset collected at the Human-Centered Mobile Robotics Laboratory in the Institute of Systems and Robotics - University of Coimbra.Tests were conducted in two subsets of classes with the objective of comparing the frameworks' generalization capabilities when trained and tested in a more or less challenging subset of classes. The results obtained met the expectations set for each developed framework. Both frameworks can successfully identify activities on the large-scale dataset. However, the performance on the small-scale dataset needs more research.
Description: Dissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e Tecnologia
URI: http://hdl.handle.net/10316/93890
Rights: openAccess
Appears in Collections:UC - Dissertações de Mestrado

Files in This Item:
File Description SizeFormat
Dissertação Hugo Luís.pdf11.29 MBAdobe PDFView/Open
Show full item record

Page view(s)

2
checked on Apr 9, 2021

Download(s)

3
checked on Apr 9, 2021

Google ScholarTM

Check


This item is licensed under a Creative Commons License Creative Commons