An Active, Explainable Artificial Intelligence Model for Classification Tasks in Medicine

Abstract

This thesis navigates the landscape of AI applied to health data, drawing insights from diverse datasets. The first two datasets, acquired from Kaggle, center around the critical domain of emergency triage. The third dataset, sourced from the UC Irvine Machine Learning Repository, focuses on heart diseases. Each dataset presents unique challenges and reflects real-world scenarios that are crucial for healthcare applications.The framework deployed integrates uncertainty-based classifiers, specifically LR and RF, either individually or combined (LR + RF). Notably, the framework attains remarkable results, surpassing the 95\% accuracy threshold and achieving good values across various performance metrics, when configured with specific parameters. The investigation made extends beyond conventional metrics so as to embrace the imperative of model transparency and explainability. The application of LIME provides some insights into the decision-making processes of ML models.Additionally, a robust study comparing passive vs active learning strategies unfolds, revealing the framework's efficacy in achieving exceptional performance with a mere 10\% of the initial dataset. These results, which were achieved through strategic queries, underscore the framework's potential to overcome data scarcity challenges in health domains.As AI continues to redefine healthcare practices, this thesis contributes nuanced perspectives, offering insights for practitioners, researchers, and policymakers alike.

Esta tese explora o panorama da inteligência artificial aplicada aos dados de saúde, extraindo conhecimentos de diversos conjuntos de dados. Os dois primeiros conjuntos de dados, adquiridos no Kaggle, centram-se no domínio crítico da triagem de emergência. O terceiro conjunto de dados, proveniente do UC Irvine Machine Learning Repository, centra-se nas doenças cardíacas. Cada conjunto de dados apresenta desafios únicos e exemplifica cenários do mundo real cruciais para aplicação nos cuidados de saúde.Foi implementada uma estrutura que integra classificadores baseados na incerteza, especificamente regressão logística e random forest, individualmente ou combinados (LR + RF). É de notar que esta estrutura obtém resultados notáveis, pois ultrapassa o limiar de precisão de 95\% e alcança bons valores em várias métricas de desempenho, quando configurada com parâmetros específicos. A investigação estendeu-se além das métricas convencionais para demarcar a imperatividade da transparência e explicabilidade do modelo. A aplicação de LIME fornece informações cruciais sobre os processos de decisão de modelos machine learning complexos.Além disso, desdobra-se um estudo robusto que compara e contrapõe estratégias de aprendizagem passiva e ativa, revelando assim a eficácia da estrutura para atingir um desempenho excecional com apenas 10\% do conjunto de dados inicial. Estes resultados, obtidos através de consultas estratégicas, sublinham o potencial da estrutura para ultrapassar os desafios da escassez de dados nos domínios da saúde.À medida que a inteligência artificial continua a redefinir as práticas de saúde, esta tese contribui com perspetivas detalhadas, oferecendo assim informações para profissionais, investigadores e legisladores.