Exploring transfer learning techniques for P300-based Brain Computer Interfaces

Abstract

As interfaces cérebro-computador têm uma ampla gama de aplicações, principalmente na área médica, onde há um enorme potencial de melhoria de vida para pacientes com condições como amputados ou paralisados, tornando-se assim, um campo popular para pesquisas.As abordagens de Deep Learning na classificação de sinais de eletroencefalografia (EEG) mostraram melhorias na precisão, aumentando a qualidade dos BCIs, mas, devido à alta variabilidade inter e intra-sujeitos dos sinais cerebrais, além da falta de conjuntos de dados grandes o suficiente disponíveis, esses métodos são difíceis de implementar ou muito demorados para calibrar.Uma maneira de superar essas restrições é usar técnicas de Transfer Learning na classificação de EEG. Estes consistem em transferir conhecimento usando pesos pré-treinados de um domínio relacionado como ponto de partida do treinamento na criação de um novo modelo de outro domínio.Nesta tese, o objetivo principal é explorar técnicas de Transfer Learning em Potenciais Relacionados a Eventos do P300. Isso é feito replicando e continuando um estudo anteriormente feito, usando um classificador P300 de Rede Neuronal Convolucional de última geração e experimentando diferentes métodos de Transfer Learning em diferentes conjuntos de dados P300.Os resultados obtidos mostraram um aumento de 0,03 F-score ao usar a interpolação esférica como método para resolver problemas de canais inexistentes. O uso de diferentes abordagens de Transfer Learning não mostrou melhorias em um dos conjunto de dados usados devido à alta disparidade de sinal e um aumento de 0,026 no F-score ao usar pesos pré-treinados como inicialização do modelo e congelar a primeira camada convolucional durante o treino num conjunto de dados mais semelhante.

Brain-Computer Interfaces (BCIs) have a wide range of applications, particularly, in the medical field, where there is a huge potential for life improvement for patients with conditions like amputees or paralyzes making it a popular field of research.Deep Learning approaches on electroencephalography (EEG) signal classification have shown improvements in accuracy, increasing BCIs' quality, but, due to high inter- and intra-subject variability of brain signals, in addition to the lack of large enough datasets available, these methods are hard to implement or very time-consuming to calibrate.One way of overcoming these constraints is by using Transfer Learning techniques in EEG classification. These consist on transferring knowledge by using pre-trained weights from one related domain as the training starting point on the creation of a new model of another domain.In this thesis, the main goal is to explore Transfer Learning techniques in P300 Event-related Potentials. This is done by replicating and continuing a previous existent study, using a state-of-the-art Convolutional Neural Network P300 classifier and experimenting with different Transfer Learning methods on different P300 datasets.The results showed a positive outcome with an increase of 0.03 F-score when using spherical spline interpolation as a method to solve missing channels problems. The use of different Transfer Learning approaches showed no improvements on one dataset due to high signal disparity, and a 0.026 increase in F-score when using pre-trained weights as model initialization and freezing the first convolutional layer during training on a more similar dataset.