Safety monitoring for machine learning in critical applications

Abstract

Inteligência Artificial (IA) está cada vez mais sofisticado e mais presente nas nossas vidas, desde assistentes virtuais como a Alexa e a Siri até carros que conduzem sozinhos. Este aumento do uso e capacidades da inteligência artificial leva a que seja utilizado cada vez mais em situações críticas e para tal é preciso ter algum tipo de mecanismo que permite saber se houve algum error por parte da IA. Apesar de toda a investigação feita para melhorar a performance de IA, o problema de deteção de erros ainda se encontra por resolver, por isso apresentamos um método para resolver este problema. O nosso método baseia-se no uso de um monitor para supervisionar o modelo crítico e informar quando este faz um erro. Vamos ter três abordagens diferentes de monitores das quais vão resultar cinco monitores no total, uma das abordagens vai utilizar inteligência artificial para detetar erros, outra vai calcular a distância a fronteira de decisão e a última vai utilizar clustering para saber se os pontos estão cobertos pelo conjunto de treino. Vamos avaliar a performance dos nosso monitores através de métricas como accuracy, taxa de positivos verdadeiros ou sensibilidade, e Positive Predictive value ou PPV, vamos ainda comparar as curvas ROC e AUC dos nossos cinco monitores. Para finalizar vamos analisar o impacto que os monitor têm nos modelos, ou seja, vamos ver se eles conseguem melhorar a accuracy dos modelos. Se este método tiver sucesso em detetar erros espera-se que comece a ser utilizada em sistemas críticos pois pode melhorar a segurança de modelos de machine learning.

Artificial Intelligence (AI) is becoming more sophisticated and more widely used in our day-to-day lives, from virtual assistants like Alexa or Siri to self-driving cars. The increase in use and capabilities of AI leads to it being more frequently used in critical systems, creating the need to have some type of system that can detect malfunctions. Despite all the research done to improve the performance of AI, the problem of error detection is still yet to be resolved, so we will propose an approach to overcome this problem. Our approach is based on the use of monitors to supervise the critical model and omit when it makes an error. We will have three different approaches for the monitor, from which will result five different monitors, one approach will be a Machine learning model to detect errors, another will calculate the distance to the classification boundary, and the last one will use clustering to know which points are covered by the training set. To evaluate the performance of out monitor we will make use of metrics such as accuracy, true positive rate or sensitivity, and positive predictive value or PPV for short, we will also compare the AUC and ROC curves of our five monitor. Lastly we will analyse what was the impact of the monitors on the model, that is, we will see if we can improve the accuracy of the models with the introduction of the monitors. If this approach proves to be successful in detecting errors, it is expected that it starts to be used in critical systems so that it can improve ML safety.