Development of clinical risk models: aspects of interpretability and personalization

Abstract

Na Europa, as doenças cardiovasculares estão entre as maiores causas de morte, com 3.9 milhões de mortes anualmente. Em relação a pacientes com Síndrome Coronária Aguda, uma estratificação de risco no momento de admissão no hospital permite que o médico adapte a estratégica terapêutica. O modelo de risco GRACE é a ferramenta de avaliação de risco mais usada em Portugal. Em paralelo, os modelos de inteligência computacional têm demonstrado uma performance notável. No entanto, nos cuidados de saúde, o seu uso ainda é limitado devido aos modelos ”caixa-preta” não fornecerem explicações para as suas previsões. O nosso objetivo era desenvolver modelos de inteligência computacional para prever a mortalidade, num período de 6 meses, para pacientes com Síndrome Coronária Aguda e comparar os modelos com o GRACE, quanto à performance e interpretabilidade. De forma a obter explicações, usamos algoritmos que devido às suas propriedades criam modelos de inteligência computacional interpretáveis: regressao logística, naive Bayes e arvores de decisão. Além disso, propusemos uma abordagem interpretável baseada em regras. Este método, além da interpretabilidade, também aborda a personalização, sem prejudicar a performance do modelo. Primeiramente, é gerado um conjunto global de regras interpretáveis baseado em fatores de risco da Síndrome Coronária Aguda. De seguida, um modelo de inteligência computacional é treinado para prever a probabilidade de cada regra estar correta para um determinado paciente. Neste trabalho, avaliamos quantitativamente a interpretabilidade através de uma medida de estabilidade, com uma variação entre [-1,1], do intervalo de confianca de 95% para a média geométrica e da correlação de Spearman entre as variavéis ordenadas pela importância atribuída por cada um dos modelos e pela importância considerada pelo GRACE. O Centro Hospitalar e Universitário de Coimbra (CHUC) forneceu o conjunto de dados clínicos que foram usados na validação da nossa metodologia. A nossa abordagem alcançou a melhor performance, com 74.72% de média geométrica. Ademais, possui a maior correlação de Spearman (0.83), um intervalo de confiança com uma variabilidade restrita (11.2%) e a mesma estabilidade que o modelo de risco GRACE (0.506).

In Europe, Cardiovascular Diseases (CVDs) are among the main causes of death, with 3.9 million deaths annually. For Acute Coronary Syndrome (ACS) patients, risk stratification at hospital admission enables the physician to tailor the therapeutic strategy. The Global Registry of Acute Coronary Events (GRACE) score is the most used risk assessment tool in Portugal. In parallel, Machine Learning (ML) models have shown notable performance. However, in healthcare, their deployment is still limited since ”black-box” models don’t provide explanations for their predictions. Our goal was to develop ML models to predict 6-month mortality for ACS patients and compare them with the GRACE score regarding performance and interpretability. To obtain explanations, we used algorithms that due to their properties create interpretable ML models: logistic regression, naive Bayes, and decision trees. Furthermore, we proposed an interpretable approach based on decision rules. This method, besides interpretability, also addresses personalization, without impairing the model’s performance. First, a global set of interpretable rules is generated based on risk factors of ACS. Then, an ML model is trained to predict the probability that each rule is correct for a given patient. In this work, we evaluate interpretability quantitatively through a stability measure, with a range of [-1,1], the 95% Confidence Interval (CI) interval on the geometric mean, and the Spearman correlation between the features’ rank by importance attributed by each of the ML models and features’ rank considered by the GRACE score. Centro Hospitalar e Universitário de Coimbra (CHUC) provided the clinical dataset used for our methodology validation. Our proposed approach achieved the best performance, with 74.72% geometric mean. Furthermore, it has the highest Spearman correlation (0.83), a narrow CI (11.2%) and the same stability as the GRACE score (0.506).