On the short-term prediction of Multiple Sclerosis disease progression

Abstract

A Esclerose Múltipla é uma doença inflamatória crónica do sistema nervoso central que leva à incapacitação dos doentes e tem também muitos impactos sociais e económicos. Os sintomas e a sua evolução variam muito de pessoa para pessoa. Por conseguinte, um componente crítico da gestão da doença é a previsão dos pacientes que irão transitar para o curso Secundário Progressivo (SP). Esta previsão precoce é uma abordagem promissora que permitiria a adoção de melhores estratégias de tratamento e uma gestão das expectativas do paciente mais realista. Apesar da evolução das técnicas de Machine Learning (ML) ao longo dos anos, até à data estes modelos de previsão do curso da doença ainda não atingiram a aplicabilidade clínica. Os principais fatores que limitam a sua utilização são a não-transparência dos resultados e consequente falta da garantia de confiança e segurança dos modelos. Nos últimos anos o conceito de explicabilidade ganhou um maior peso e atualmente diversos estudos concentram-se na transformação dos modelos de ML em modelos mais interpretáveis.No presente estudo foi utilizada a base de dados do serviço de Esclerose Múltipla do hospital de Sant’Andrea, de Roma, para prever se um paciente transitará para o curso SP numa janela temporal de 180, 360 ou 720 dias. Os modelos desenvolvidos por Seccia et al. (2021) foram parcialmente replicados e melhorados. Foram estudados dois cenários: o orientado para as visitas (VO), no qual foram utilizados os classificadores Random Forest (RF), Support Vector Machines (SVMs) linear e não-linear, k-nearest neighbours (KNN) e AdaBoost (AB) para prever considerando uma única visita; o orientado para a história clínica (HO), no qual se aplicou uma rede neuronal Long Short-Term Memory (LSTM) que considera o histórico de visitas do paciente para fazer a previsão.Os modelos de previsão obtiveram medidas de F1-score de 28 a 37% para o cenário VO e 71 a 77% para o cenário HO quando se utilizaram os datasets com o maior número de visitas. Estes resultados mostram que as redes neuronais LSTM prevêem eficazmente o curso SP quando se utilizam dados disponíveis na rotina clínica em maiores quantidades. Foram também aplicados diversos métodos de explicabilidade para gerar explicações sobre o comportamento global dos modelos de ML desenvolvidos e sobre previsões específicas para certos pacientes. As conclusões obtidas foram limitadas pela falta de conhecimento sobre o significado de cada característica. Ainda assim, as explicações mostraram que a escala de quantificação da condição neurológica (EDSS) é bastante relevante na classificação da progressão da doença.

Multiple Sclerosis (MS) is a chronic inflammatory disease of the Central Nervous System (CNS) that leads to disability in patients and has many social and economic impacts. Symptoms and their course vary significantly from person to person. Therefore, a critical component of disease management is predicting patients who will transition to the Secondary Progressive (SP) course. This early prediction is a promising approach that would allow for better treatment strategies and more realistic management of patient expectations. Despite the evolution of Machine Learning (ML) techniques over the years, these disease course prediction models have not yet reached clinical applicability. The non-transparency of the results and consequent lack of confidence and safety of the models are the main factors limiting their use. In recent years, the concept of explainability has gained more significant weight and, currently, several studies focus on transforming ML models into more interpretable models. In the present study, the dataset of the MS service of Sant’Andrea hospital was used to predict whether a patient will transition to the SP phase in a time window of 180, 360 or 720 days. The models developed by Seccia et al. (2021) were partially replicated and improved. Two scenarios were studied: the Visited-Oriented (VO), in which Random Forest (RF), linear and non-linear Support Vector Machines (SVMs), k-nearest neighbours (KNN) and AdaBoost (AB) classifiers were used to predict the transition to SP considering a single visit; the History-Oriented (HO), in which it was applied a Long Short-Term Memory (LSTM) Neural Network (NN) that considers the patient’s entire clinical history to make the prediction. When using the datasets with the highest number of visits, the prediction models obtained F1-score measures of 28 to 37% for the VO scenario and 71 to 77% for the HO scenario. These results show that LSTM NNs effectively predict the SP course when using larger quantities of data available in the clinical routine. Several explainability methods were also applied to explain the overall behaviour of the developed ML models and specific predictions for particular patients. The conclusions obtained were limited by the lack of knowledge about the meaning of each feature. Still, the explanations showed that the Expanded disability status scale (EDSS) scale is quite relevant in classifying disease progression.