Human behaviour spotting from event camera data: an approach for collaborative manufacturing

Abstract

Continuous and real-time action/gesture recognition is one of the main issues of collaborative robots and their successful application in different domains, namely in manufacturing. Nevertheless, the reliable and real-time recognition of actions/gestures in unstructured environments is still difficult to achieve. When it comes to manufacturing, the recognition of human actions related to basic manufacturing tasks (grab, lift, screw, etc.) is still a challenge. This study proposes to model and analyse events data aiming to recognize human actions related to basic manufacturing tasks. Noise reduction techniques, namely cropping, will be applied to data captured from an event camera (EC), eliminating most of the noise originated by shadows and body motion. The EC data grid is scanned to identify the outlines that define the region of interest (ROI). The number of captured events per frame is optimized to properly capture both slow and fast human motion. Linear and non-linear Data Dimensionality Reduction (DDR) techniques such as Principal Component Analysis (PCA) and kernel PCA are applied. The classification of tasks is achieved recurring to Long-term Recurrent Convolutional Networks (LRCNs) which combine the classification of spatial features using Convolutional Neural Networks (CNNs) and the temporal features using Long Short-Term Memory networks (LSTMs). Experimental tests were conducted using the new ECmanufacturing20 dataset composed by EC data representing 10 different classes of basic assembly manufacturing tasks. The classification models show an accuracy of 46,7% when using the original data, 63,3% using noise reduction, 26,7% when using PCA and 36,7% applying kernel PCA to data. The application of noise reduction techniques showed a positive effect on classification accuracy, increasing it by about 17 percentage points.

O reconhecimento de ações/gestos em contínuo e em tempo-real é um dos principais problemas enfrentados pela robótica colaborativa, afetando o sucesso da sua aplicação em vários domínios, nomeadamente na indústria de manufatura. O reconhecimento fiável de ações/gestos num meio não estruturado e em tempo-real continua a ser difícil de alcançar. Quanto à manufatura, o reconhecimento de ações humanas relacionadas com tarefas básicas de manufatura (como agarrar, levantar, aparafusar, etc.) continua a ser um grande desafio. Este estudo propõe modelar e analisar dados de eventos com o objetivo de reconhecer ações humanas relacionadas com tarefas básicas de manufatura. Técnicas de redução de ruído, nomeadamente cropping, são aplicadas a dados capturados por uma câmara de eventos (EC), eliminando a maioria do ruído originado por sombras e movimento do corpo. A grelha de dados da câmara de eventos é examinada para identificar os contornos que definem a região de interesse (ROI). O número de eventos capturados por frame é otimizado para capturar devidamente tanto os movimentos lentos como os movimentos rápidos dos humanos. Técnicas de redução de dimensionalidade de dados (DDR) lineares e não lineares como Principal Component Analysis (PCA) e kernel PCA são utilizadas. A classificação de tarefas é concretizada aplicando Long-term Recurrent Convolutional Networks (LRCNs) que combinam a classificação de características espaciais usando Convolutional Neural Networks (CNNs) e características temporais usando Long Short-Term Memory networks (LSTMs). Testes experimentais foram realizados usando o novo ECmanufacturing20 dataset constituído por dados da câmara de eventos que representam 10 classes diferentes de tarefas de montagem básicas utilizadas em manufatura. Os modelos de classificação demonstram uma fiabilidade de 46,7% quando se usou os dados originais, 63,3% quando a redução de ruído foi usada, 26,7% quando se usou PCA e 36,7% quando se aplicou kernel PCA aos dados. A aplicação de técnicas de redução de ruído teve um efeito positivo na fiabilidade da classificação, aumentando-a cerca de 17 pontos percentuais.