Empowering Classical AI with Quantum Computing

Abstract

Aprendizagem por reforço é um dos ramos da aprendizagem computacional, em que um agente interage com um ambiente por tentativa e erro. Como a aprendizagem por reforço pode funcionar sem conhecimento do domínio do problema, tem a vantagem de não precisar de dados de treino previamente etiquetados. Como consequência, tem tido sucesso em várias áreas, como a da robótica e a dos jogos. Aprendizagem por reforço é frequentemente acompanhada por redes neuronais, formando abordagens de aprendizagem profunda, que podem funcionar mesmo quando lidando com grandes espaços de estados. Ao mesmo tempo, a computação quântica é uma área que tem o potencial de superar supercomputadores clássicos em tarefas específicas. Apesar de ser desconhecido quando este potencial será realizado, é importante investigar possíveis aplicações. Para além disso, como o hardware quantum atual tem ruído e simulações quânticas são difíceis de realizar para sistemas mais complexos, é especialmente relevante descobrir casos de uso práticos para a computação quântica num futuro próximo. Aprendizagem computacional quantum é uma das áreas que mostra potencial de funcionar dentro do contexto quantum atual. Especificamente para a aprendizagem por reforço quantum, há a perspetiva de conseguir um melhor equilíbrio entre a exploração do espaço de estados e a exploração do conhecimento obtido, como visto em trabalhos recentes relacionados com a quantum tagged action selection, que foi aplicada ao jogo de tabuleiro das Damas. Neste trabalho, aplicámos quantum tagged action selection dentro do contexto da aprendizagem por reforço no 4 em Linha, estendendo o âmbito desta técnica a outros jogos de tabuleiro. Para o fazer, combinámo-la com um método de aprendizagem profunda offline, que foi a chave para lidar com a complexidade do espaço de estados do problema. Testámos agentes clássicos e quânticos contra um adversário que utilizou Randomized Negamax. Os resultados obtidos mostraram um desempenho superior em comparação com uma abordagem Ɛ-greedy comum. Além disso, a versão quântica da flagged action selection levou a uma melhor eficiência ao treinar do que a sua versão clássica. Como o jogador 2 tem uma grande desvantagem neste jogo de tabuleiro, também analisámos o desempenho dos agentes que treinaram como jogador 2, encontrando resultados menos conclusivos, mas ainda assim positivos.

Reinforcement Learning (RL) is a Machine Learning (ML) branch, in which an agent interacts with an environment by trial and error. Since RL can work without knowledge of the problem domain, it has the advantage of not needing previously labelled training data to function. As a result, it has found success in many areas, such as robotics and games. RL is frequently paired with Neural Networks (NNs), resulting in Deep Learning approaches, which can work well even when dealing with large state spaces. At the same time, Quantum Computing is an area that has the potential to surpass classical supercomputers at specific tasks. While it is unknown when this potential will be realized, it is important to research possible applications. Furthermore, as current quantum hardware is noisy and quantum simulations are difficult to perform for more complex systems, it is especially relevant to figure out practical use cases for Quantum Computing in the near future. Quantum ML is one of the areas that shows potential to work under the current quantum context. Specifically for Quantum RL, there is the prospect of achieving a better balance between the exploration of the state space and the exploitation of the knowledge acquired, as seen in some recent research related with quantum tagged action selection, which has been applied to the board game of Checkers. In this work, we applied quantum tagged action selection to the RL context of Connect Four, extending the scope of this technique to other board games. To do so, we paired it with an offline Deep Learning method, which was key in dealing with the state-space complexity of the problem. We tested both classical and quantum agents against a Randomized Negamax opponent. The results obtained showed a superior performance in comparison with a standard Ɛ-greedy approach. Furthermore, the quantum version of the flagged action selection led to better training efficiency than its classical counterpart. Since going second is a major disadvantage in this board game, we also analysed the performance of the agents that trained as player 2, finding less conclusive but still ultimately positive results.