Computational Intelligence Models for Length of Stay Prediction

Abstract

A previsão do tempo de internamento dos pacientes é de grande importância para os hospitais, uma vez que pode determinar a utilização de recursos, melhorar o agendamento de futuros internamentos e cirurgias, e auxiliar no planeamento dos cuidados de saúde dos pacientes, desde a admissão até à alta. Consequentemente, uma melhor qualidade dos cuidados de saúde prestados pode ser proporcionada aos pacientes, sendo este o principal objetivo dos hospitais. Neste projecto, quatro abordagens diferentes foram implementadas para desenvolver modelos de previsão de tempo de internamento: i) exploração de modelos de risco existentes (SCORE), ii) aplicação de modelos típicos de inteligência computacional (Random Forest, Support Vector Machine e Multilayer Perceptron), iii) desenvolvimento de um modelo interpretável e personalizável ao paciente com base em regras e iv) integração de dados dinâmicos (sinais vitais) nos modelos anteriores. Os dados clínicos usados neste trabalho foram fornecidos pelo CHUC (Centro Hospitalar e Universitário de Coimbra) e pela Philips Electronics Nederland B.V., compreendendo 1544 pacientes admitidos na unidade de cuidados intensivos de cardiologia do Hospital dos Covões (Coimbra) e 189 pacientes bariátricos admitidos para cirurgia no Catharina Hospital (Eindhoven), respetivamente.O conjunto inicial de variáveis dos pacientes cardíacos foi obtido através de uma revisão da literatura e do conhecimento clínico de um cardiologista da unidade de cuidados intensivos de cardiologia do CHUC. Para os pacientes bariátricos, este conjunto resultou de uma revisão da literatura para a determinação das variáveis relevantes. Posteriormente, as variáveis de entrada dos modelos de previsão de tempo de internamento foram selecionadas desse conjunto inicial usando o coeficiente de correlação tau de Kendall. Adicionalmente, as variáveis de entrada selecionadas para os pacientes cardíacos foram também validadas pelo cardiologista. O desempenho dos modelos referidos, medido através da média geométrica (GE) e do F1 score, foi determinado aplicando este conjunto final de variáveis de entrada a cada um deles.Finalmente, através da aplicação do teste Friedman e do correspondente teste post-hoc Nemenyi, foi possível ordenar os modelos em função do seu desempenho.A performance do modelo baseado no SCORE foi significativamente baixa, obtendo uma GE de 0.50. Assim, apesar deste modelo de risco ser de grande importância na prática cardiológica europeia, não é adequado para estimar o tempo de internamento hospitalar. A segunda abordagem (modelo Black-box) superou o modelo anterior. Os melhores resultados foram obtidos pelo Multilayer perceptron com uma GE de 0.62 ± 0.03 para os pacientes cardíacos e 0.64 ± 0.08 para os bariátricos, respetivamente. Verificou-se ainda que o desempenho do modelo interpretável e personalizável foi superior ao modelo Black-box, para os dois tipos de pacientes, com uma GE de 0.66 ± 0.02 para os pacientes cardíacos e 0.83 ± 0.05 para os pacientes bariátricos. Adicionalmente, a inclusão de sinais vitais aos modelos de previsão mostrou-se vantajosa por levar a um aumento da performance em todos os classificadores. Estes resultados sugerem que a incorporação de dados dinâmicos em modelos de previsão de tempo de internamento deve ser explorada de forma aprofundada em estudos posteriores.A análise dos resultados permitiu-nos concluir que, apesar de aceitável, a performance dos modelos desenvolvidos não parece ser adequada para o seu uso na prática clínica (GE máxima de 0.66 e 0.83 para os pacientes cardíacos e bariátricos, respetivamente). Este facto pode-se justificar pela dificuldade e complexidade que o problema apresenta. O estudo de outras variáveis, não só determinadas aquando a admissão, mas durante as primeiras horas ou no primeiro dia de internamento do doente, poderia ser uma estratégia a explorar no futuro.

Predicting the patients' length of stay (LOS) is of major importance for hospitals, since it can determine the resource utilization, improve the scheduling of admissions and surgeries and helping in the development of effective clinical pathways. Consequently, a better quality of care can be provided to the patients, which is the main goal of the hospitals.In this project, four different approaches were implemented to develop LOS prediction models: i) exploration of available risk tools (SCORE), ii) application of typical computational intelligence models (Random Forest, Support Vector Machine and Multilayer Perceptron), iii) development of an interpretable and patient customized model based on rules and iv) integration of dynamic data (vital signs) in the previous models. The clinical data used in this work was provided by the CHUC (Coimbra Hospital and University Center) and by Philips Electronics Nederland B.V., comprising 1544 patients admitted in the cardiac intensive care unit of Hospital dos Covões (Coimbra) and 189 bariatric patients admitted to surgery in Catharina Hospital (Eindhoven), respectively.The initial set of features of the cardiac patients was obtained through a literature review and the clinical knowledge of an ICU cardiologist of CHUC. For the bariatric patients, this set resulted from a literature review for the determination of the relevant features. Then, the input features of the LOS prediction models were selected from this initial set using the Kendall's tau coefficient correlation. Moreover, the selected input features for the cardiac patients were also validated by the cardiologist. The performance of the referred models, measured in terms of the geometric mean (GE) and F1 score, was determined by employing this final set of input variables to each one of them. Finally, through the application of the Friedman test and the corresponding post-hoc Nemenyi test, it was possible to order the models according to their performance.The SCORE model performance was significantly low, achieving a geometric mean (GE) of 0.50. Thus, although this risk tool is of high importance in the European cardiology practice, it is not sufficiently accurate to estimate the actual LOS. The second approach (Black-box model) outperformed the previous model. The best results were achieved by the multilayer perceptron with a GE of 0.62 ± 0.03 for the cardiac patients and 0.64 ± 0.08 for the bariatric ones. Furthermore, we verified that the performance of the interpretable and customized model was higher than the Black-box model, for both types of patients, obtaining a GE of 0.66 ± 0.02 for the cardiac patients and 0.83 ± 0.05 for the bariatric patients. Moreover, the addition of the vital signs to the prediction models was proved to be advantageous since it leaded to an increase of performance in all the classifiers. These results suggest that the incorporation of dynamic data in LOS prediction models is worthy of further exploratory studies.The analysis of the results allowed us to conclude that, although acceptable, the performance of the developed models does not seem to be adequate for their use in clinical practice (maximum GE of 0.66 and 0.83 for the cardiac and bariatric patients, respectively). This fact may be justified by the difficulty and complexity that the problem presents. The study of other variables, not only determined at admission time, but during the first hours or on the first day of the patient's stay, could be a strategy to explore in the future.