Interação de um Robô Social com Utilizadores Humanos através de Linguagem Natural

Abstract

This dissertation aims to investigate the design and development of a prototype of an assistive social robot capable of human-robot interaction through natural language, including voice recognition, speech synthesis, and dialogue management.Inspired by the growing importance of assistive social robots, especially in the context of Ambient Assisted Living (AAL), the social robot GrowMu was chosen, and an API for voice recognition and synthesis was integrated, complemented with lip synchronization algorithms.The main objective was to create a prototype that allows natural interaction between the robot and users for two modes of operation: narrative, where the robot aims to tell an interactive story to the elderly user based on their level of cognitive impairment and personal information (e.g., hobbies, past profession, etc.); and a free mode, intended for various users, which features facial recognition and manages the dialogue accordingly. Both modes were tested, with particular emphasis on the narrative mode, which was evaluated by elderly end users.Based on a review of the literature on human-robot interaction, the best engineering solutions were adopted for this work, utilizing pre-trained language models (e.g., from OpenAI), as well as the first programming language for virtual agents, AIML.This work, developed within the EuroAGE+ project funded by the Interreg Spain-Portugal program, which aims to demonstrate the application of social robots in promoting active aging, seeks to contribute to the advancement of human-robot interaction in assistive environments, providing a solid foundation for future research and developments in this constantly evolving field.

Este trabalho de dissertação tem como objetivo investigar a conceção e desenvolvimento de um protótipo de robô social assistencial capacitado para interação humano-robô através de linguagem natural, incluindo reconhecimento de voz, síntese de voz e gestão de diálogo. Inspirado pela crescente importância dos robôs sociais assistenciais, especialmente no contexto de Ambient Assisted Living (AAL), optou-se pelo uso do robô social GrowMu e pela integração de API de reconhecimento e síntese de voz complementado com algoritmos de sincronização labial.O principal objetivo passou por criar um protótipo que permita uma interação natural entre o robô e os utilizadores para dois modos de funcionamento: narrativa, onde o robô visa contar uma história interativa ao utilizador idoso consoante o seu nível de défice cognitivo tendo como base as suas informações (e.g., passatempos, profissão passada, etc.); e um modo livre, destinado a diversos utilizadores que apresenta a capacidade de reconhecimento facial dos mesmos, e consoante essa informação é gerido o diálogo. Ambos os modos foram testados, com uma ênfase particular no modo de narrativa, avaliado por utilizadores finais idosos.Tendo como base a revisão da literatura da interação humano-robô, foram adotadas as melhores soluções de engenharia para este trabalho, onde se utilizou modelos de linguagem pré-treinados (e.g., da OpenAI), e também a primeira linguagem de programação para agentes virtuais, a AIML.Este trabalho, desenvolvido no âmbito do projeto EuroAGE+ financiado pelo programa Interreg Espanha-Portugal, onde se pretende demonstrar a aplicação de robôs sociais na promoção do envelhecimento ativo, visa contribuir para o avanço da interação humano-robô em ambientes assistenciais, proporcionando uma base sólida para futuras investigações e desenvolvimentos nesta área em constante evolução.