Reinforcement Learning for Predictive Aircraft Maintenance

Abstract

The optimization of aircraft maintenance has been a focal point for airlines for many years, mainly due to the high costs associated with it. Currently, most airlines adopt preventive maintenance strategies to reduce the number of unexpected failures. However, some strategies have some flaws due to the possibility of over-maintenance and the inability to predict failures. The aim of the Real-time Condition-based Maintenance for Adaptive Aircraft Maintenance Planning (ReMAP) project is to use a predictive strategy, namely Condition-Based Maintenance (CBM), to deal with these problems. The idea is to monitor the condition of components with data gathered from sensors to compute Remaining Useful Life (RUL) values, which can be used in the maintenance decision process.This work is part of the ReMAP project, and the goal is to use Reinforcement Learning (RL) to optimize the scheduling of aircraft maintenance. In the first stage, two formulations are proposed to optimize the scheduling of checks for a specified time horizon using the Deep Q-Learning (QL) algorithm. In the second stage, the Asynchronous Advantage Actor-Critic (A3C) algorithm is used to optimize a task packaging solution, while considering relevant aircraft maintenance factors, such as manpower resources and unscheduled maintenance. Moreover, a predictive task scheduling algorithm is proposed, using prognostic information to adapt the existing maintenance plan.The proposed algorithms in both stages are tested and validated using real maintenance data from a fleet of 51 aircraft. The quality of the maintenance plan obtained is evaluated according to several Key Performance Indicators (KPI). The results are very positive and promising, which indicates the potential of RL to solve this type of problem.

A otimização da manutenção de aeronaves tem sido um ponto essencial para as companhias aéreas durante muitos anos, principalmente devido aos elevados custos que lhe estão associados. Atualmente, a maioria das companhias aéreas adotam estratégias de manutenção preventivas para reduzir o número de falhas inesperadas. Contudo, algumas destas estratégias apresentam alguns defeitos devido à possibilidade de realizar manutenção em excesso e à incapacidade de prever falhas. O projeto Real-time Condition-based Maintenance for Adaptive Aircraft Maintenance Planning (ReMAP) tem como objetivo usar uma estratégia preditiva, tal como a Condition-Based Maintenance (CBM), para lidar com estes problemas. A ideia é monitorizar a condição de componentes com dados recolhidos de sensores para calcular valores de Remaining Useful Life (RUL), que podem ser aplicados posteriormente no processo de decisão de manutenção.Este trabalho faz parte do projeto ReMAP, tendo como objetivo o uso de Reinforcement Learning (RL) para otimizar o agendamento de manutenção para aeronaves. Na primeira etapa, são propostas duas formulações para otimizar o agendamento de checks para um horizonte temporal especifico usando o algoritmo Deep Q-Learning (QL). Na segunda etapa, o algoritmo Asynchronous Advantage Actor-Critic (A3C) é usado para otimizar uma solução de empacotamento de tarefas, considerando alguns fatores importantes na manutenção de aeronaves, tais como recursos humanos e manutenção inesperada. Além disso, um algoritmo de agendamento preditivo de tarefas é proposto, usando informação de prognóstico para adaptar o plano de manutenção existente.Os algoritmos propostos para ambas as etapas são testados e validados com dados reais de manutenção de uma frota de 51 aeronaves. A qualidade do plano de manutenção obtido é avaliado de acordo com vários Key Performance Indicators (KPI). Os resultados são muito positivos e promissores, indicando o potencial de RL para resolver este tipo de problemas.