Machine Learning Methods for Epileptic Seizure Risk Assessment (ML4EPI-RISK)

Abstract

Epilepsy affects around 1% of the population worldwide. Anti-Epileptic Drugs (AEDs) are an excellent option for controlling seizure occurrence but do not work for approximately one third of patients. Warning devices employing seizure prediction or forecasting algorithms could bring patients new-found comfort and quality of life. These algorithms attempt to detect a seizure's preictal period, a transitional moment between regular brain activity and the seizure, and relay this information to the user.Over the years, many seizure prediction studies using Eletroencephalogram (EEG)-based methodologies have been developed, triggering an alarm when detecting early stages of the preictal period. However, few of these methodologies have been clinically applicable. This inefficacy is mainly for three reasons: the lack of proper databases; the EEG signal is still not fully understood; determining and detecting the preictal period is an incredibly arduous task. Recent studies have suggested a shift in view. Seizure forecasting takes a probabilistic approach to the problem in question instead of the alarm-based approach in seizure prediction. Seizure forecasting replaces the triggered alarms that symbolize the detection of a preictal period in seizure prediction with a continuous analysis. Depending on the probability of a seizure, different risk states are defined and constantly displayed to the patient.The present work aims to explore methodologies capable of seizure forecasting and establish a comparison with seizure prediction results.Using data from 40 epilepsy patients from the EPILEPSIAE database, three patient-specific seizure prediction algorithms and three seizure forecasting ones were implemented and compared. A Logistic Regression, a Support Vector Machine (SVM) ensemble, and a Shallow Neural Network (SNN) ensemble classifier were employed for both prediction and forecasting.None of the seizure prediction methodologies achieved satisfactory enough results to define the best proposed methodology. Between the models using the Logistic Regression and the SNN ensemble, there was no balance between a Sensitivity (SS) value sufficiently high and a False Prediction Rate per Hour (FPR/h) value sufficiently low to be clinically acceptable.The best proposed seizure forecasting methodology used the Logistic Regression classifier. It achieved a SS of 0.28+/-0.37, a Time in Warning (TiW) of 0.13+/-0.14, a Brier Score (BS) of 0.19+/-0.11, and a Brier Skill Score (BSS) of 0.01+/-0.15, where 50% of patient models achieved statistically significant results higher than chance.Comparing the performance results in both fields of study, an increase of the SS is observed in forecasting relative to prediction. There was a 115% improvement in the Logistic Regression model, 146% in the SVM ensemble model, and 70% in the SNN ensemble model. Findings for statistical validation were similar. The number of patients that displayed an improvement over chance increased in seizure forecasting by 300%, 171%, and 125%, respectively. Therefore, with this study, it is possible to conclude that the seizure forecasting methodology outperforms the prediction one, both in SS and improvement over chance, and may be more suitable for seizure warning devices.

A epilepsia afeta cerca de 1% da população mundial. Os medicamentos anticonvulsivantes são uma excelente opção para controlar a ocorrência de crises, mas não funcionam em aproximadamente um terço dos pacientes. Os dispositivos de alerta que utilizam algoritmos de previsão ou avaliação do risco de crises podem trazer aos pacientes um novo conforto e qualidade de vida. Estes algoritmos tentam detetar o período pré-ictal de uma crise, um momento de transição entre a atividade cerebral normal e a crise, e transmitem essa informação ao utilizador.Ao longo dos anos, foram desenvolvidos muitos estudos de previsão de crises utilizando metodologias baseadas no Eletroencefalograma (EEG), que disparam um alarme quando detetam fases precoces do período pré-ictal. No entanto, poucas destas metodologias têm sido clinicamente aplicáveis. Esta ineficácia deve-se principalmente a três razões: a falta de bases de dados apropriadas; o sinal EEG ainda não é totalmente compreendido; determinar e detetar o período pré-ictal é uma tarefa incrivelmente árdua. Estudos recentes sugerem uma mudança de perspetiva. A avaliação do risco de crises adota uma abordagem probabilística do problema em questão, em contraste com a abordagem baseada em alarmes na previsão de crises. A avaliação do risco de crises substitui os alarmes acionados para simbolizar a deteção de um período pré-ictal na previsão de crises por uma análise contínua. Dependendo da probabilidade de ocorrência de uma crise, são definidos diferentes estados de risco que são constantemente apresentados ao paciente.O presente trabalho tem como objetivo explorar metodologias capazes de avaliar o risco de crises e estabelecer uma comparação com os resultados da previsão de crises.Usando dados de 40 pacientes com epilepsia da base de dados EPILEPSIAE, três algoritmos de previsão de crises e três de avaliação do risco de crises específicos para cada paciente foram implementados e comparados. Uma Regressão Logística, um conjunto de Support Vector Machines (SVMs) e um conjunto de Shallow Neural Networks (SNNs) foram utilizados como classificador para a previsão de crises e para a avaliação do risco.Nenhuma das metodologias de previsão de crises obteve resultados suficientemente bons para definir a melhor metodologia proposta. Entre os modelos que utilizam a Regressão Logística e o conjunto de SNNs, não houve equilíbrio entre um valor de sensibilidade suficientemente elevado e um valor da taxa de falsos alarmes por hora (FPR/h) suficientemente baixo para ser clinicamente aceitável.A melhor metodologia proposta de avaliação do risco de crises utilizou o classificador de Regressão Logística. Obteve uma sensibilidade de 0.28+/-0.37, um Time in Warning de 0.13+/-0.14, um Brier Score de 0.19+/-0.11 e um Brier Skill Score de 0.01+/-0.15, em que 50% dos modelos dos pacientes obtiveram resultados estatisticamente significativos superiores ao acaso.Comparando os resultados nas duas áreas de estudo, um aumento da sensibilidade é observado no modelo de avaliação de risco em relação ao de previsão. Houve uma melhoria de 115% para a Regressão Logística, de 146% para o modelo do conjunto SVMs e de 70% para o modelo de conjunto SNNs. Os resultados da validação estatística foram semelhantes. O número de pacientes que apresentaram uma melhoria em relação ao acaso aumentou na avaliação do risco de crises em 300%, 171% e 125%, respetivamente. Portanto, com este estudo é possível concluir que a metodologia de avaliação do risco de crises supera a de previsão, tanto em termos de sensibilidade como de melhoria em relação ao acaso, e pode ser mais adequada para dispositivos de alerta de crises.