Please use this identifier to cite or link to this item: https://hdl.handle.net/10316/92156
Title: Human behaviour spotting from event camera data: an approach for collaborative manufacturing
Other Titles: Reconhecimento de comportamento humano a partir de dados de camara de eventos: uma abordagem de manufatura colaborativa
Authors: Duarte, Laura Sofia Ferreira
Orientador: Neto, Pedro Mariano Simões
Keywords: Redução de Dimensionalidade de Dados; Redes Neurais Profundas; Manufatura Colaborativa; Redução de Ruído; Câmara de Eventos; Data Dimensionality Reduction; Deep Neural Networks; Collaborative Manufacturing; Noise Reduction; Event Camera
Issue Date: 19-Oct-2020
Serial title, monograph or event: Human behaviour spotting from event camera data: an approach for collaborative manufacturing
Place of publication or event: Departamento de Engenharia Mecânica
Abstract: Continuous and real-time action/gesture recognition is one of the main issues of collaborative robots and their successful application in different domains, namely in manufacturing. Nevertheless, the reliable and real-time recognition of actions/gestures in unstructured environments is still difficult to achieve. When it comes to manufacturing, the recognition of human actions related to basic manufacturing tasks (grab, lift, screw, etc.) is still a challenge. This study proposes to model and analyse events data aiming to recognize human actions related to basic manufacturing tasks. Noise reduction techniques, namely cropping, will be applied to data captured from an event camera (EC), eliminating most of the noise originated by shadows and body motion. The EC data grid is scanned to identify the outlines that define the region of interest (ROI). The number of captured events per frame is optimized to properly capture both slow and fast human motion. Linear and non-linear Data Dimensionality Reduction (DDR) techniques such as Principal Component Analysis (PCA) and kernel PCA are applied. The classification of tasks is achieved recurring to Long-term Recurrent Convolutional Networks (LRCNs) which combine the classification of spatial features using Convolutional Neural Networks (CNNs) and the temporal features using Long Short-Term Memory networks (LSTMs). Experimental tests were conducted using the new ECmanufacturing20 dataset composed by EC data representing 10 different classes of basic assembly manufacturing tasks. The classification models show an accuracy of 46,7% when using the original data, 63,3% using noise reduction, 26,7% when using PCA and 36,7% applying kernel PCA to data. The application of noise reduction techniques showed a positive effect on classification accuracy, increasing it by about 17 percentage points.
O reconhecimento de ações/gestos em contínuo e em tempo-real é um dos principais problemas enfrentados pela robótica colaborativa, afetando o sucesso da sua aplicação em vários domínios, nomeadamente na indústria de manufatura. O reconhecimento fiável de ações/gestos num meio não estruturado e em tempo-real continua a ser difícil de alcançar. Quanto à manufatura, o reconhecimento de ações humanas relacionadas com tarefas básicas de manufatura (como agarrar, levantar, aparafusar, etc.) continua a ser um grande desafio. Este estudo propõe modelar e analisar dados de eventos com o objetivo de reconhecer ações humanas relacionadas com tarefas básicas de manufatura. Técnicas de redução de ruído, nomeadamente cropping, são aplicadas a dados capturados por uma câmara de eventos (EC), eliminando a maioria do ruído originado por sombras e movimento do corpo. A grelha de dados da câmara de eventos é examinada para identificar os contornos que definem a região de interesse (ROI). O número de eventos capturados por frame é otimizado para capturar devidamente tanto os movimentos lentos como os movimentos rápidos dos humanos. Técnicas de redução de dimensionalidade de dados (DDR) lineares e não lineares como Principal Component Analysis (PCA) e kernel PCA são utilizadas. A classificação de tarefas é concretizada aplicando Long-term Recurrent Convolutional Networks (LRCNs) que combinam a classificação de características espaciais usando Convolutional Neural Networks (CNNs) e características temporais usando Long Short-Term Memory networks (LSTMs). Testes experimentais foram realizados usando o novo ECmanufacturing20 dataset constituído por dados da câmara de eventos que representam 10 classes diferentes de tarefas de montagem básicas utilizadas em manufatura. Os modelos de classificação demonstram uma fiabilidade de 46,7% quando se usou os dados originais, 63,3% quando a redução de ruído foi usada, 26,7% quando se usou PCA e 36,7% quando se aplicou kernel PCA aos dados. A aplicação de técnicas de redução de ruído teve um efeito positivo na fiabilidade da classificação, aumentando-a cerca de 17 pontos percentuais.
Description: Dissertação de Mestrado Integrado em Engenharia Mecânica apresentada à Faculdade de Ciências e Tecnologia
URI: https://hdl.handle.net/10316/92156
Rights: openAccess
Appears in Collections:UC - Dissertações de Mestrado

Files in This Item:
File Description SizeFormat
Thesis_Final.pdf4.45 MBAdobe PDFView/Open
Show full item record

Page view(s)

85
checked on Mar 26, 2024

Download(s)

75
checked on Mar 26, 2024

Google ScholarTM

Check


This item is licensed under a Creative Commons License Creative Commons