A reinforcement learning application to an assembly decision-making problem

Abstract

Reinforcement learning é uma metodologia com grande potencial de aplicabilidade em problemas de tomada de decisões na manufatura devido à reduzida necessidade prévia de dados, isto é, o sistema aprende durante a real operação. Esta dissertação foca-se na implementação dum algoritmo de reinforcement learning num problema de tomada de decisões na montagem de um avião, pertencente ao dataset de objetos e benchmark de Yale-CMU-Berkeley, com o objetivo de identificar a eficácia da abordagem proposta na otimização dos tempos de montagem. Existem inúmeros algoritmos de reinforcement learning, tendo sido o algoritmo Q-Learning o escolhido para o trabalho desta dissertação. Este algoritmo baseia-se na aprendizagem duma matriz de Q-values, conhecida como Q-table, através de sucessivas interações com o ambiente de forma a determinar a state-action policy que maximiza as rewards acumuladas e formalizada como um Markov Decision Process (MDP). Esta implementação foi conseguida em três cenários distintos, com um nível de complexidade crescente. No primeiro cenário, o reinforcement learning agent apenas poderia distinguir entre sequencias de montagem possíveis ou impossíveis. Num segundo cenário os tempos médios de duração das ações foram adicionados com a consequência de diferentes sequências de montagem corresponderem a diferentes soluções com valores de rewards acumuladas. Este cenário permitiu uma primeira otimização dos parâmetros e rewards do algoritmo. Por fim, no terceiro cenário os tempos médios das ações foram medidos com as respetivas variações, o que tornou a distribuição de rewards acumuladas mais dispersas. Este cenário permitiu uma nova otimização dos parâmetros e rewards do algoritmo. O algoritmo implementado, após a sua otimização, apresentou resultados promissores ao aprender a sequência de montagem ótima 95.83% das vezes.

Reinforcement learning is a methodology with great potential of applicability in manufacturing decision-making problems due to the reduced need of previous training data, i.e., the system learns along time with actual operation. This dissertation focuses on the implementation of a reinforcement learning algorithm in an assembly decision-making problem of an airplane, from the Yale-CMU-Berkeley Object and Benchmark Dataset, aiming to identify the effectiveness of the proposed approach in the assembly time optimization. There are numerous types of reinforcement learning algorithms, with Q-Learning being the algorithm chosen for this dissertation. This algorithm is based on the learning of a matrix of Q-values (Q-table) from the successive interactions with the environment to find an optimal state-action policy that maximizes the accumulated reward, formalized as a Markov Decision Process (MDP). This implementation was achieved in three scenarios with increasing complexity. In the first scenario, the reinforcement learning agent could only distinguish between feasible and impossible assembly sequences. In a second scenario the actions’ average time were included so that different assembly sequences corresponded to solutions with diverse accumulated rewards. This scenario allowed an initial optimization of the algorithm’s parameters and rewards. Finally, in the last scenario, the tasks’ average time were measured with the corresponding time variances, so that the assembly sequences would have a larger distribution on accumulated rewards. This last scenario allowed the further optimization of the algorithm’s parameters and rewards. The implemented algorithm, after optimization, achieved very promising results by learning the optimal assembly sequence 95.83% of the times.