On the Performance of Seizure Prediction Methods Across Different Databases

Abstract

Epilepsy is one of the most prevalent neurological conditions, affecting approximately 1% of the global population. While Antiepileptic Drugs (AEDs) have demonstrated effectiveness in controlling seizures in many cases, approximately one-third of patients continue to experience recurrent episodes. In this context, pursuing alternative approaches becomes imperative to enhance the quality of life for these patients. One promising strategy is the prediction of seizures, which can be implemented in intervention or alert systems to prevent or minimize the adverse effects of epileptic seizures. One of the crucial challenges in this research field is identifying the preictal period, characterized as the interval marking the transition from regular brain activity to a seizure. Numerous studies have explored methods using Electroencephalogram (EEG) data for this purpose. However, few have proven viable for clinical application. A critical determinant of the results achieved is the dataset in use. The dataset used significantly influences performance, as evident from various studies in the literature. Various characteristics vary across the available databases, encompassing differences in the type of recorded EEG signal, the conditions patients faced during data collection, the type of epilepsy, and temporal information for each seizure, among others. This study aimed to evaluate the performance of a prediction algorithm when applied to different datasets. The algorithm's development primarily centered on the European Epilepsy Database (EPILEPSIAE), which was then used as a reference point for comparisons across other datasets, namely Children’s Hospital Boston from the Massachusetts Institute of Technology (CHB-MIT), American Epilepsy Society (AES), and Epilepsy Ecosystem. Only necessary modifications were made to the base algorithm to ensure a fair and direct comparison. The developed model utilized a Logistic Regression classifier and was applied to data from 40 patients from the EPILEPSIAE database, six from CHB-MIT, seven from AES, and three from the Epilepsy Ecosystem. The training results obtained showed that for datasets lacking temporal seizure information (AES and Epilepsy Ecosystem), performance was significantly higher. Handling the problem less rigorously, without considering the real nature of the data, leads to better results. However, these favorable results do not accurately represent reality.Furthermore, the performance values obtained in the testing phase were lower than those reported by other studies using these databases. Assumptions made to simulate realistic alarm situations account for these poor results. Thus, it is evident that the excellent results achieved by many authors stem from a lack of practical rigor in approaching the problem.Finally, the comparative analysis of the two approaches (alarm and sample) has revealed that the outcomes achieved are less favorable in the alarm approach. This finding suggests that employing realistic metrics in problem-solving leads to comparatively poorer results.In summary, while encountering some difficulties in standardization due to data heterogeneity, this study identified specific dataset characteristics that influence the performance of an epileptic seizure prediction model. It serves as a starting point for a more detailed exploration of the influence of the dataset used and the definition of the preictal period in the context of seizure prediction.

A epilepsia é uma das condições neurológicas mais prevalentes, afetando cerca de 1% da população mundial. Embora os medicamentos antiepiléticos tenham mostrado eficácia no controlo de crises em grande parte dos casos, cerca de 1/3 dos doentes continuam a enfrentar episódios recorrentes. Nesse sentido, a busca por abordagens alternativas torna-se imperativa para melhorar a qualidade de vida desses pacientes. Uma das estratégias promissoras é a previsão de crises, que pode ser implementada em sistemas de intervenção ou alerta, com o intuito de evitar ou minimizar os efeitos adversos das crises epiléticas.Um dos desafios cruciais nesse campo de pesquisa é identificar o período pré-ictal, caracterizado por ser o intervalo que marca a transição da atividade cerebral regular para uma crise. Vários estudos têm explorado métodos recorrendo ao uso de dados de eletroencefalograma (EEG) para essa finalidade. No entanto, foram poucos os que se mostraram viáveis para aplicação clínica. Um aspeto que se revela determinante nos resultados obtidos é o conjunto de dados usado. Pelos vários estudos presentes na literatura é possível concluir que a performance é bastante influenciada pela base de dados utilizada. São várias as caraterísticas que diferem entre as bases de dados disponíveis: o tipo de sinal EEG gravado, as condições a que os pacientes foram sujeitos durante a recolha dos dados, o tipo de epilepsia, informações temporais de cada crise, entre outros. O presente trabalho teve como objetivo avaliar a performance de um algoritmo de previsão quando aplicado a diferentes bases de dados. O desenvolvimento desse algoritmo foi realizado para a base de dados European Epilepsy Database (EPILEPSIAE), que serviu como base de comparação com as restantes (Children’s Hospital Boston from the Massachusetts Institute of Technology (CHB-MIT), American Epilepsy Society (AES) e Epilepsy Ecosystem). Apenas as mudanças necessárias foram aplicadas ao algoritmo base, de forma a garantir a uniformização do processo para uma comparação justa e direta. O modelo desenvolvido utilizou um classificador de Regressão Logística e foi aplicado a dados de 40 pacientes da base de dados EPILEPSIAE, 6 da CHB-MIT, 7 da AES e 3 da Epilepsy Ecosystem. Os resultados de treino obtidos mostraram que para os dados que não possuíam informações temporais das crises (AES e Epilepsy Ecosystem) a performance foi bastante superior. É possível concluir que lidar com o problema de forma menos rigorosa, sem considerar a natureza real dos dados, leva a melhores resultados. No entanto, estes bons resultados não são representativos da realidade. Além disso, os valores de performance obtidos na fase de teste revelaram-se mais baixos que os reportados por outros estudos utilizando estas bases de dados. São as assumpções para simular situações de alarme realistas que levam a esses maus resultados. Assim, verifica-se que os resultados excelentes obtidos por muitos autores se devem à falta de rigor na abordagem prática do problema.Por último, a análise comparativa das duas abordagens distintas (alarmes e amostra) permitiu verificar que os resultados obtidos são menos satisfatórios na abordagem de alarmes. Este aspeto permite concluir que lidar com o problema de uma forma mais realista leva a piores resultados. Em suma, este estudo, embora tenha enfrentado algumas dificuldades no processo de padronização devido à heterogeneidade dos dados, encontrou algumas caraterísticas dos bancos de dados que influenciam a performance de um modelo de previsão de crises epiléticas. É, portanto, o ponto de partida para explorar mais detalhadamente a influência da base de dados usada, bem como a definição de período pré-ictal no contexto de previsão de crises.