Automatic Generation of Multiple Choice Questions

Abstract

Com a tecnologia a assumir um papel cada vez mais predominante nas nossas atividades diárias, surgem novas oportunidades e desafios. As novas ferramentas tecnológicas têm sido utilizadas com sucesso em contexto educacional há já algum tempo, sendo um auxiliar para professores, educadores e formadores na transmissão de conhecimento. No entanto, ainda existem tarefas que podem beneficiar de novos desenvolvimentos, como é o caso da criação de perguntas. O desenvolvimento de uma ferramenta complementar para auxiliar na geração de perguntas poderia diminuir o esforço relacionado a esta tarefa e economizar tempo valioso, além de potencialmente fornecer a quem aprende uma nova maneira de aprender novos conteúdos ou revisitar conteúdos antigos.Neste trabalho, exploramos várias técnicas de Processamento de Linguagem Natural para a tarefa de Geração Automática de Perguntas de Múltipla Escolha. Tendo em conta que perguntas de múltipla escolha são compostas por mais de uma parte, nomeadamente o texto da pergunta e as respostas incorretas, são necessárias várias etapas. Guiando-nos por uma pipeline composta por Pré-processamento, Seleção de Respostas, Geração de Perguntas e Seleção de Respostas Incorretas, desenvolvemos várias abordagens para gerar os resultados pretendidos. Alguns dos métodos utilizados são mais convencionais, envolvendo análise linguística ou regras para reorganizar frases, enquanto outros, como os Transformers, são baseados em modelos treinados e disponibilizados por outros pesquisadores para a tarefa de Geração de Perguntas. Descrevemos a base teórica dos métodos e como eles foram implementados neste trabalho. Para ajudar no desenvolvimento e na avaliação das abordagens implementadas, recorremos a métricas de avaliação automática e baseadas em análise humana.O sistema resultante foi capaz de integrar vários métodos para realizar cada uma das subtarefas que definimos como necessárias para gerar perguntas de múltipla escolha. Algumas das abordagens apresentam resultados positivos, sendo capazes de criar perguntas de boa qualidade e abrangência que podem ser usadas como ponto de partida para criar testes ou questionários sem a necessidade de grande intervenção humana.

With technology taking a more prevalent role in our daily activities, new opportunities and challenges emerge. New technological tools have been successfully used in the educational context for some time now, facilitating teachers, educators and trainers in the transmission of knowledge. However, there are still tasks that can take advantage of these developments, as is the case of the creation of questions. The development of technology as a complementary tool to aid in question generation can decrease the effort related to this task and save valuable time, as well as potentially provide to those who are learning a new tool to learn new contents or revisit old contents.In this work, we explore multiple Natural Language Processing techniques for the task of Automatic Generation of Multiple Choice Questions. Given that multiple choice questions are composed of more than one part, namely the stem (text of the question) and the distractors (incorrect answers), this involves multiple steps. Guided by a pipeline composed of Pre-processing, Answer Selection, Question Generation and Distractor Selection, we developed various approaches to generate the intended results. Some of the methods used are more conventional, involving linguistic analysis or rules to rearrange sentences, while others, such as the Transformers, are based on available models trained by other researchers for the task of Question Generation. We describe the background of the methods and how they were implemented in this work. To help in the development and in evaluation of the approaches implemented, we resorted to automatic and human evaluation metrics.The resulting system was able to integrate various methods to perform each of the sub-steps we defined as necessary to generate multiple choice questions. Some of the approaches present positive results, standing as capable of creating questions of good quality and coverage that can be used as a starting point to create tests or questionnaires without the need for major human intervention.