RGB-based automatic recognition of the engagement of children interacting with a NAO humanoid robot

Abstract

O papel dos robôs sociais tem aumentado a sua relevância na sociedade moderna. A interação com os robôs humanóides provou ser extremamente útil e capacitada a vários níveis quando interagem com crianças, com uma função terapêutica para melhorar as competências sociais, educacionais e de aprendizagem, imitando o comportamento humano e encorajando atividades. Os robôs podem também ser uma ferramenta útil na mitigação de estados e comportamentos negativos durante sessões terapêuticas com especialistas, tais como psicólogos. Por conseguinte, é importante avaliar se a criança está interessada, mantém o interesse e coopera durante a atividade de criança-robô. Para o conseguir, o reconhecimento do envolvimento é uma tarefa importante.Este trabalho concentra-se no desenvolvimento de um sistema de classificação do envolvimento baseado no reconhecimento de emoções através da expressão facial, útil para a análise online e offline de sessões terapêuticas. Com este porpósito, a classificação das emoções foi desenvolvida com base em arquitecturas CNN alimentadas por imagens faciais de crianças de diferentes conjuntos de dados (EmoReact, FER2013 e CAFE dataset) sendo explorados dois métodos de classificação do envolvimento. O Método-1 após a classificação das emoções infere diretamente os níveis de envolvimento com base na relação direta entre os níveis de envolvimento e as emoções, enquanto que o Método-2 aplica a mesma rede de classificação de emoções alimentada com as mesmas imagens mas rotuladas com níveis de envolvimento classificando em quatro níveis de envolvimento. Para relacionar as emoções e os níveis de envolvimento, os dois métodos utilizam o mesmo modelo afetivo. O Método-1 funciona melhor que o Método-2, alcançando uma boa precisão de 88,14%.A atividade criança-robô, baseada no robô humanóide NAO, foi concebida com a assistência de um professor de psicologia da Universidade de Coimbra, Carlos Carona, com a fase inicial centrada no envolvimento da criança com danças e movimentos, seguida de um exercício de relaxamento baseado na respiração.Os resultados do teste em cenário real, obtidos através da realização da atividade criança-robô e da utilização offline do sistema de classificação do envolvimento, foram satisfatórios e podem vir a ser explorados e implementados em áreas da psicologia no futuro.

The role of social robots has enhanced relevance in modern societies. The interaction with humanoid robots proved to be extremely helpful and empowered on multiple levels when interacting with children, with a therapeutic function to improve social, educational, and learning skills by mimicking human behaviour and encouraging activities. The robots can also be a useful tool in the mitigation of negative states and behaviours during therapeutic sessions with specialists such as psychologists. Therefore, it is important to evaluate whether the child is interested in, maintains the interest in, and cooperates during the child-robot activity. To accomplish that, engagement recognition is an important task.This work focuses on the development of an engagement classification system based on emotion recognition through facial expression useful to online and offline analysis of therapy sessions. For this purpose, the emotion classification was developed based on CNN architectures fed by children's face images from different datasets (EmoReact, FER2013, and CAFE dataset), and two methods of engagement classification were explored. Method-1 after the emotion classification, infers the levels of engagement based on the direct relationship between levels of engagement and emotions, whereas Method-2 employs the same network to classify the emotions fed with the same images but labelled with levels of engagement classifying in four levels of engagement. To relate emotion and levels of engagement, the two methods use the same affective model. Method-1 performs better than Method-2, achieving a good accuracy of 88,14%.The child-robot activity, based on the NAO humanoid robot, was designed with the assistance of a psychology professor at the University of Coimbra, Carlos Carona, with the initial phase focusing on engaging the child with dances and motions, followed by a breathing-based relaxation exercise.The results of the real-world scenario test obtained by performing the child-robot activity and the offline use of the engagement classification system were satisfactory and can be further explored and implemented in psychology areas in the future.