Hybrid BCI based on visual and auditory stimuli

Abstract

A interface cérebro-computador ou ICC é um dispositivo extrai a atividade cerebral, onde os sinais cerebrais são analisados e processados que permite que a máquina atinja certos funções como comunicação, jogar vídeo jogos, controlar próteses, cadeiras de rodas, casas inteligentes, etc. Nos últimos anos, o estudo da interação homem-computador está-se a concentrar em melhorar a qualidade de vida das pessoas, com atenção especial a indivíduos com necessidades especiais.As pessoas com deficiências motoras graves enfrentam vários desafios no dia-a-dia. Nas últimas décadas, a comunidade científica tem-se preocupado em desenvolver ICCs que forneçam meios de comunicação e reabilitação funcional para esses indivíduos. A eficiência de uma ICC para uma aplicação no mundo real que ajude indivíduos gravemente paralisados ainda é muito limitada, mas a constante pesquisa e melhoramento em técnicas de processamento de sinais e machine learning estão a aumentar a possibilidade do uso eficiente de ICC em aplicações no mundo real.A implementação de uma ICC eletroencefalográfico (EEG), técnica de aquisição de sinal usada neste trabalho para registrar a atividade elétrica, possui vários aspectos que necessitam consideração: usabilidade, conforto do utilizador, métodos, paradigmas etc. Para melhorar o desempenho do sistema ICC para uma aplicação específica, um protocolo e paradigma específico devem ser escolhidos para os testes. É essencial escolher o paradigma certo para melhorar o sinal neurofisiológico, melhorando consequentemente o processo de classificação e, portanto, proporcionar melhores desempenhos.Esta dissertação tem como objetivo contribuir com um paradigma híbrido no contexto de ICCs, com base em um sinal neurofisiológico designado pelo 'potencial relacionado a evento P300'. Um paradigma híbrido (estímulos visuais e auditivos) foi desenvolvido em Python 3.7. A framework desenvolvida não é apenas uma framework para o rápido desenvolvimento de aplicações de feedback e estímulo, mas também uma plataforma para executar testes neurocientíficos independentes dos sistemas ICC. O Matlab / Simulink (framework que implementa a aquisição e processamento de sinal) e a framework Python são executados no mesmo computador e são sincronizados através de uma comunicação TCP / IP. O módulo Python recebe as informações fornecidas pelo ICC e gera e apresenta os estímulos numa interface visual e auditiva. Os paradigmas propostos usam estímulos auditivos baseados em palavras pronunciadas com significado natural e estímulos visuais baseados em imagens (palavras intermitentes com imagens sobrepostas de faces conhecidas) simultaneamente, destinado a melhorar os potenciais evocados, aumentar a discriminação de estímulos e reduzir o esforço mental do utilizador. Cinco paradigmas de estimulação foram testados experimentalmente por 10 participantes saudáveis: palavras, palavras com audição, faces de famosos, faces de famosos com audição, e faces de um parente/amigo. O desempenho das ICCs propostos foi significativamente melhorado em comparação com as ICCs de controle (palavra e palavra com audição). A melhor precisão online, ITR e SPM efetivo foram alcançados pela condição de faces de um parente e comparam-se favoravelmente aos desempenhos de state-of-the-art com 95,56 \%, 3,07 símbolos por minuto, e 8,08 bpm, respectivamente.Rede neural convolucional (ConvNet) foi estudada e implementada offline para classificar os ERPs P300, para comparar seu desempenho com a atual abordagem de classificação. Embora não existam muitos estudos sobre ConvNet para classificação de EEG, é uma técnica promissora neste campo, pois a extração de features e classificação são uma arquitetura única e otimizada automaticamente com o mínimo de pré-processamento. Este foi um trabalho exploratório com um número limitado de datasets, onde a ConvNet foi treinada com uma pequena quantidade de dados. A abordagem atualmente utilizada no ISR-UC mostrou melhores desempenhos do que a ConvNet, no entanto, a ConvNet foi capaz de classificar adequadamente os dados. Embora a ConvNet tenha um desempenho pior do que a abordagem atual, as propriedades da ConvNet acima mencionadas são muito relevantes e motivam a explorar ainda mais as abordagens de deep learning.

A Brain-Computer Interface or BCI is a device that can extract brain activity, where brain signals are analyzed and processed to enable the machine to accomplish certain purposes, such as communicating, playing video games, controlling prosthesis, wheelchairs, smart homes, etc. In the past years, the study of human-computer interaction has been focused on how to improve the people's quality of life, with special attention on individuals with additional needs. People with severe motor disabilities face many challenges in their daily life. During the last decades, the science community has been concerned about developing BCIs to provide means of communication and functional rehabilitation for these individuals. The efficiency of a BCI on a real-world application to help severely paralyzed individuals is still very limited, but the constant research and improvement on signal processing and machine learning techniques are bringing the possibility of efficient BCI use in real-world applications one step closer to reality. The implementation of an electroencephalographic (EEG) based BCI, signal acquisition technique used in this work to record the electrical activity, has several aspects that need to be taken into consideration: usability, user comfort, methods, paradigms, etc. To improve the performance of the BCI system for a specific application, a particular protocol and paradigm have to be chosen for the experiment. It is essential to choose the right paradigm to enhance the neurophysiological signal, improving the classification process and therefore providing better performances. The goal of this dissertation was to develop a standalone framework to implement visual and auditory (hybrid) paradigms in applications outside the Matlab/Simulink system (framework implementing signal acquisition and signal processing). The framework developed is not only a framework for the rapid development of feedback and stimulus applications but also a platform to run neuroscientific tests independent from BCI systems. Three conditions were developed in the context of BCIs based on a neurophysiologic signal designated by ’P300 event-related potential’ (one hybrid paradigm and two image-based paradigms). The paradigms were developed and designed in Python 3.7. The Matlab/Simulink and the Python framework run on the same computer and are synchronized through TCP/IP communication. The Python module receives the information provided by the BCI and generates and presents the stimuli on a visual and auditory interface. The proposed paradigms use an auditory stimulus based on natural meaningful spoken words and a visual image-based stimulus (flashing words with overlapped pictures of well-known faces) simultaneously, aiming to enhance the evoked potentials, increasing stimuli discrimination, and reducing user's mental effort. Five stimulation paradigms were experimentally tested by 10 healthy participants: word flashing, word flashing with auditory, famous face flashing, famous face flashing with auditory, and flashing a relative's faces. The performance of the proposed BCIs was significantly improved in comparison to the control P300-based BCIs (word flashing and word flashing with auditory). The best online accuracy, effective SPM, and ITR was achieved by the relative’s face paradigm and compares favorably with the state-of-the-art performances with 95.56\%, 3.07 symbols per minute, and 8.08 bpm, respectively. Followed by the famous faces paradigms, which had similar performances with an accuracy of 93.33\%. However, the control paradigms had a lower performance with an accuracy of only 82\%. The relative's face paradigm showed to recruit additional face selectivity mechanisms in addition to those for non-relative’s face, eliciting the most discriminative ERP features.Convolutional Neural Networks (CNNs) were researched and implemented offline to classify P300 ERPs, to compare their performance with the current classification approach. Although there are not many studies regarding CNN for EEG classification it is a promising technique in this field as feature extraction and classification are one single architecture and optimized automatically with minimal preprocessing. This was an exploratory work with a limited number of datasets, where the CNN was trained with a small amount of data. The approach currently being used at ISR-UC showed better performances than the CNN, nevertheless, the CNN was capable of adequately classifying the data. Although the CNN performed worse than the current approach, the aforementioned CNN properties are very relevant and give the motivation to further explore deep learning approaches.