Explainable AI models for Transparent and Trustworthy Systems

Abstract

Recently, machine learning-based systems have presented increasing results when it comes to learning performance, in a wide variety of tasks. However, the problem with some state-of-the-art models is their lack of transparency, trustworthiness, and explainability. The research on this topic has increased in recent years, and many methodologies have been proposed to achieve transparency, trustworthiness, and explainability. Machine learning-based Intrusion Detection Systems (IDS) are one of the many application domains. However, most of the works about model interpretation focuses on other fields like computer vision, natural language processing, biology, etc. This leads to the fact that cybersecurity experts can hardly optimize their decisions, according to the judgments of the model.In this work, in an attempt to approach this problem, we analyze eXplainable AI (XAI) and its methodologies. We present the state-of-the-art on the domain, and analyze some of the most recognizable methods. With the analysis and study of the state-of-the-art, we acquired knowledge on the many approaches, and methods, to achieve explainability. We have used two methods to continue our thesis, those being LIME (Local Interpretable Model-Agnostic Explanations) and SHAP (SHapley Additive exPlanations). These methods are the most acknowledged, and discussed in the entire literature.Using the XAI methods, we attempted to provide explanations to a black box model, MLPClassifier, part of an IDS solution that performs intrusion detection on IoT devices (part of ARCADIAN-IoT project). In order to acquire a better familiarization with the chosen methods, we had performed a set of exploration work with a well-know classification problem, the Iris flower classification problem. With the knowledge acquired with this exploration phase, we have developed a series of experiments on the MLPClassifier, in order to analyze, validate, and compare both XAI methods explanations. The explanations were retrieved separately based on the data, before and after being pre-processed, respectively. However, the main focus relied on the explanations before the pre-processing stage, on the sequences of system calls analyzed by the IDS. In general, both methods present good results on the experimental stage. They choose different features for the explanations but on an overall analysis of the data, the outcomes are somewhat similar. To get a further analysis in terms of validation and comparison between LIME and SHAP, we have performed a survey, where we compare directly the methods. The survey presented questions based on the explanations retrieved with the two XAI methods, for two distinct problems. It also presented questions where we tried to directly compare the two methods by its characteristics, to analyze the preferences of the respondents. We were able to conclude that in terms of preference of the respondents in terms of explainability method, LIME is the clear favorite.

Recentemente, sistemas baseados em aprendizagem computacional têm apresentado resultados crescentes relativamente a desempenho de aprendizagem, para uma ampla variedade de tarefas. No entanto, o problema com alguns modelos de última geração é a falta de transparência, confiabilidade e explicabilidade. A pesquisa sobre este tema tem aumentado nos últimos anos, e muitos métodos foram propostos para alcançar transparência, confiança e explicabilidade. Sistemas de deteção de intrusão (IDS) baseados em aprendizagem computacional são um dos muitos domínios de aplicação. No entanto, a maioria dos trabalhos sobre a explicabilidade de modelos encontra-se focada em outros campos, como visão computacional, processamento de linguagem natural, biologia, etc. Isso faz com que os especialistas em ciber-segurança dificilmente consigam otimizar as suas decisões, de acordo com os julgamentos do modelo.Neste trabalho, na tentativa de abordar este problema, analisamos eXplainable AI (XAI) e os seus métodos. Apresentamos o estado da arte no domínio, e analisamos alguns dos métodos mais conhecidos. Com a análise e o estudo do o estado da arte, adquirimos conhecimento sobre as diversas abordagens e métodos para alcançar a explicabilidade. Decidimos escolher dois métodos para continuar a nossa tese, sendo estes LIME (Local Interpretable Model-Agnostic Explanations) e SHAP (SHapley Additive Explanations). Estes métodos são os mais reconhecidos, e discutidos em toda a literatura revista, e podem ser aplicados a vários modelos caixa-preta.Usando os métodos selecionados, tentamos fornecer explicações a um modelo caixa preta, MLPClassifier, parte de uma solução IDS que realiza deteção de intrusão em dispositivos IoT (parte do projeto ARCADIAN-IoT). Para obter uma melhor familiarização com os métodos escolhidos, realizámos um trabalho exploratório com um problema de classificação conhecido, o problema de classificação da flor Iris. Com o conhecimento adquirido nesta fase de exploração, desenvolvemos uma série de experiências no MLPClassifier (modelo caixa preta do IDS), a fim de analisar, validar, e comparar as explicações dos dois métodos XAI. As explicações foram retiradas separadamente com base nos dados, antes e depois de serem pré-processados, respetivamente. No entanto, o foco principal recaiu sobre as explicações antes do pré-processamento, isto é, nas sequências de chamadas ao sistema que são analisadas pelo IDS. No geral, ambos os métodos apresentam bons resultados na fase experimental. Eles escolhem diferentes chamadas ao sistema para as explicações, mas num análise global dos dados, os resultados são muito semelhantes. Para obter uma análise mais profunda em termos de validação e comparação entre o LIME e o SHAP, realizámos um questionário, onde comparámos diretamente os métodos. O questionário apresentou perguntas com base nas explicações retiradas com os dois métodos XAI, para dois problemas distintos. Também foram apresentadas perguntas onde tentámos comparar diretamente os dois métodos. Foi possível concluir que a preferência em termos de método, ficou do lado do LIME, para a maioria das pessoas que responderam ao questionário.