Immersive virtual reality facial expression training

Abstract

Autism Spectrum Disorder (ASD) is a neurodevelopmental disorder characterized by difficulties in social communication and interaction, as well as restricted and repetitive behaviors. Individuals with ASD often struggle with recognizing and expressing emotions, which can impact their social interactions and overall well-being. In this project, we aim to develop a gamified intervention to improve facial emotion recognition skills in individuals with ASD. The intervention consists of a Virtual Reality (VR) serious game focused on facial emotion recognition that was designed to provide a safe and engaging environment for individuals with ASD to practice and improve their emotional understanding and expression abilities. To develop this game, we draw inspiration from existing serious games for ASD, such as the “TravelTrain” game, which focuses on social skills training in a simulated bus travel scenario. By leveraging the foundation provided by the TravelTrain game, we adapted and expanded upon its mechanics and assets to create a game specifically targeting facial emotion recognition skills. The project involves designing and implementing the game mechanics, user interfaces, and game assets. We also conducted user testing with individuals diagnosed with ASD to gather feedback and evaluate the effectiveness of the game in using it for treatment. This project aims to contribute to the field of serious games for ASD and provide a valuable resource for individuals with ASD to improve their emotional skills in a fun and interactive way. The outcomes of this project can inform future interventions and contribute to the overall well-being and social integration of individuals with ASD.

A Perturbação do Espectro do Autismo (PEA) é um distúrbio neurodesenvolvimental caracterizado por dificuldades na comunicação social e na interação, bem como por comportamentos restritos e repetitivos. Indivíduos com PEA frequentemente apresentam dificuldades em reconhecer e expressar emoções, o que pode afetar as suas interações sociais e o seu bem-estar geral. Neste projeto, desenvolvemos uma intervenção para melhorar as habilidades de reconhecimento de emoções faciais em indivíduos com PEA. A intervenção consistiu num jogo sério de Realidade Virtual (RV) com foco no reconhecimento de emoções faciais que será projetado para fornecer um ambiente seguro e envolvente para indivíduos com PEA praticarem e melhorarem as suas habilidades de compreensão e expressão emocional. Para desenvolver este jogo, inspiramo-nos em jogos sérios existentes para PEA, como o jogo "TravelTrain", que se concentra no treino de habilidades sociais num cenário de viagem de autocarro simulado. Aproveitando a base fornecida pelo jogo Trav- ElTrain, adaptamos e expandimos as suas mecânicas e conteúdo para criar um jogo específico para o reconhecimento de expressões faciais. O projeto incluiu o ‘design’ e implementação das mecânicas do jogo, interfaces do utilizador e recursos do jogo. Também realizaremos testes de utilizadores com indivíduos diagnosticados com PEA para recolher ‘feedback’ e avaliar a eficácia do jogo no tratamento. Este projeto visa contribuir para a área de jogos sérios para PEA e fornecer um recurso valioso para indivíduos com PEA para melhorar a suas habilidades emocionais de uma maneira divertida e interativa. Os resultados deste projeto podem informar futuras intervenções e contribuir para o bem-estar geral e a integração social de indivíduos com PEA.