A New Probabilistic Methodology to Support an Emotive Dialog Between a Human and a Robot

Abstract

In this thesis, Bayesian approaches to analyze and synthesize human facial and vocal expressions are proposed, moreover a robot is used to influence the decision of the robot’s response during a human robot interaction. In a human to human conversation, a person senses the interlocutor’s face and voice, perceives his/her emotional expressions, and processes this information in order to decide which response to give. Moreover, observed emotions are taken into account, and the response may vary according to the defined for the robot. The can be understand as a personality of the robot. An emotional vector is prepared as input for this personality and carries probabilistic influences about which emotion the robot shall use in its behavior. The purpose of our structure is to endow robots with the capability of: not only recognize human emotions, but also to synthesize emotions and simulate personality. Thus, several sub problems need to be solved: feature extraction, classification, decision and synthesis. In the proposed approach, we integrate two novel Bayesian classifiers for emotion recognition from audio and video channels. Then, we use a new method for fusion with the selected social behavior profile. To keep the person engaged in the interaction, after each iteration of the analysis, the robot synthesizes voice with lips synchronization and also synthesizes facial expressions. The social behavior profile conducts the personality of the robot. The structure and the work flow of the: analysis, synthesis and decision; are addressed, and the Bayesian networks are discussed. Furthermore, we proposed assessments for measuring the engagement of the human during the interaction with the robot. Finally, we test the system with a dialog study case and by using the assessments we were able to reinforce the importance of such an emotional component for social robot applications.

Nesta tese, abordagens Bayesianas para analisar e sintetizar expressões humanas (faciais e vocais) são propostas. Além disso, perfis de comportamento social foram integrados no sistema de forma a emular personalidade no robot. Em uma conversa de humano para humano, uma pessoa analisa o rosto do interlocutor e também a voz, percebendo assim as suas expressões emocionais; a pessoa então processa essa informação para decidir que resposta dar. As emoções observadas são então levadas em consideração, e com isso a resposta pode variar. No nosso sistema, a resposta também poderá variar, não só com base nas expressões, mas também de acordo com o perfil de comportamento social definido para o robot. O perfil de comportamento social pode ser entendido como uma personalidade do robot. Um vector emocional é preparado como entrada para esta personalidade, este vector carrega influências probabilísticas sobre as quais o robot decide qual emoção utilizará na resposta, dependendo da personalidade seleccionada. O propósito de nossa estrutura é dotar robôs com a capacidade de: não só reconhecer as emoções humanas, mas também de sintetizar emoções e simular personalidade. Contudo, vários subproblemas precisaram ser resolvidos, dentre eles: a extracção de características da imagem e do som, a classificação, a decisão e a síntese. A abordagem proposta integra dois novos classificadores Bayesianos para reconhecimento de emoções a partir de canais de áudio e de vídeo. Nós definimos e utilizamos um novo modelo de mistura Bayesiana para a fusão de ambos os canais com a personalidade. Para manter a pessoa envolvida na interacção, após cada interacção da análise, o robot sintetiza a voz humana tanto com sincronização de lábios quanto com expressões faciais. O perfil de comportamento social conduz a personalidade do robot. A estrutura e fluxo de trabalho da análise, síntese e decisão são abordados, e as redes Bayesianas são definidas e discutidas. Além disso, propusemos avaliações para medir o engajamento do ser humano durante a interacção com o robot. Finalmente, testamos o sistema em um estudo de caso de diálogo, e usando as avaliações definidas, fomos capazes de reforçar a importância de tal componente emocional para aplicações robóticas sociais.