Modeling of Synthetic Players As An Instrument For Testing Generative Content

Abstract

Há uma necessidade de se encontrar novos métodos confiáveis para testar cenários de jogo gerados procedimentalmente. Um método que mostra potencial é teste automatizado, que consiste em usar jogador sintéticos para testar novos cenários de jogo. Deste modo, para testar esta suposição, este trabalho modela dois tipos de jogadores sintéticos que são colocados num cenário semelhante ao Bomberman. Neste caso de estudo, os jogadores têm de colocar bombas em lugares estratégicos para eliminar os adversários. Um jogador sintético é desenvolvido através de uma abordagem baseada em planeamento, em que o agente procura por uma sequência de ações que leva desde o estado atual do jogo até ao estado desejado. A segunda abordagem é aprendizagem computacional, mais precisamente combinar aprendizagem por imitação com aprendizagem por reforço, para que primeiro, o jogador sintético aprenda observando demonstrações humanas, e depois melhore a sua performance através das recompensas do ambiente. Resultados mostram que o jogador sintético de planeamento consegue jogar e ganhar o jogo consistentemente contra oponentes desenvolvidos pela abordagem de aprendizagem computacional, e consegue generalizar bem para novos cenários. Também obteve resultados positivos num inquérito acerca da sua credibilidade. Estes atributos fazem do jogador sintético de planeamento uma ferramente viável para testar cenários de jogo gerados procedimentalmente. Contudo, o agente de planeamento tem dificuldades quando joga contra um jogador humano, fornecendo apenas um desafio de dificuldade fácil a moderada para o humano. A abordagem de aprendizagem computacional produziu resultados modestos, não sendo capaz de vencer o jogo consistentemente. O seu desempenho pouco satisfatório também magoa a sua credibilidade. Não obstante esse facto, um modelo treinado aparenta ter aprendido as regras básicas do jogo e conseguiu sobreviver períodos de tempo suficientes para explorar o espaço de jogo.

There is a need to discover new, reliable techniques to test procedurally generated game scenarios. One method that has potential is automated testing, which consists in using synthetic players to play and test the newly generated scenarios. Therefore, to test this assumption, this work models two types of synthetic players that are put in a Bomberman-like scenario. In this case study, the players must place bombs in strategic places in order to eliminate the opponents. One synthetic player is developed via a planning-based approach, in which the agent searches for a sequence of actions that leads from the current state of the game to the desired game state. The second approach is machine learning, more precisely, combining Imitation Learning with Reinforcement Learning in order for the synthetic player to first learn by observing human demonstrations, and then improve its performance by maximizing its policy via the environment rewards. Results show that the planning synthetic player manages to play and win the game consistently against opponents developed by the machine learning approach, and can generalize well to new unseen scenarios. It also obtained positive scores in a survey regarding its believability. All of these attributes makes the planning synthetic player a viable tool to test procedurally generated game scenarios. However, the planning agent struggles when facing a human player, providing an easy-to-moderate challenge for the human. The machine learning approach produced modest results, not being able to win the game consistently. Its modest performance harms its believability as well. Nonetheless, a particular trained model could be perceived as if grasping how to play the game and managed to survive long-enough periods to explore the game space.