Context Monitoring for Dialogues in Portuguese

Abstract

Os Sistemas de diálogo têm testemunhado um crescimento notável no uso quotidiano, simplificando uma variedade extensa de tarefas. Seja para ações simples como verificar o tempo para o dia seguinte ou para processos mais complexos como a reserva de voos para destinos específicos em horários determinados, tornando-se estes sistemas indispensáveis. Para executar essas tarefas de forma eficaz, é crucial que os sistemas de diálogo normalmente monitorizem o contexto em que operam. Tal monitorização pode ser efetuada através do Rastreio do Estado do Diálogo (DST), um processo que acompanha o desenvolvimento de uma conversa enquanto mantém uma representação atualizada do seu estado. O DST é vital para os sistemas de diálogo, uma vez que permite a incorporação do contexto da conversa ao aplicar técnicas de Processamento de Linguagem Natural (NLP) e gerar respostas adequadas. Embora o DST tenha sido principalmente aplicado ao idioma inglês, neste trabalho estendemos a sua aplicação a diálogos em português. Pelo que sabemos, esta é a primeira vez que tal extensão foi realizada. O trabalho envolveu a criação de um conjunto de dados de diálogos, orientado a tarefas para português, adaptado do amplamente utilizado conjunto de dados MultiWOZ. Um componente crucial do DST é a Extração de Informação (IE), que preenche slots com informações específicas com base em restrições definidas pelo utilizador. Alcançou-se isso através de uma abordagem inovadora baseada em Perguntas e Respostas (QA), que extrai uma resposta baseada em uma pergunta e um contexto (frase do utilizador). Neste estudo, três modelos de QA foram testados para esse propósito: BERT-base, BERTlarge e T5. Concluímos que o modelo T5 apresentou o desempenho mais fraco. Os outros dois modelos geraram resultados semelhantes. A escolha entre estas duas alternativas dependerá da tarefa específica que o utilizador deseja realizar. Ambos (BERT-base e BERT-large) mostraram ser promissores em resolver tarefas na língua portuguesa. Adicionalmente, observamos que a inclusão de métodos como Detecção de Intenção e Pós-Processamento melhorou significativamente o desempenho de cada modelo. Essas descobertas não só contribuem para o desenvolvimento do DST em comunidades lusófonas, mas também abrem novas possibilidades para a implementação de sistemas de diálogo inovadores baseados no conjunto de dados criado.

Dialogue systems have witnessed remarkable growth in everyday use, significantly simplifying a broad range of tasks. Whether it involves simple actions like checking the next morning’s weather or more complex processes like booking flights to specific destinations at designated times, these systems have become indispensable. To perform these tasks successfully, dialogue systems usually need to monitor context. This can be accomplished through Dialogue State Tracking (DST), a process that involves tracking the progress of a conversation while maintaining a representation of the current state. DST is essential for dialogue systems, as it allows them to consider the context of the conversation through the application of Natural Language Processing (NLP) techniques, and respondappropriately. While DST has been mainly applied to English, in this work, it is applied to Portuguese dialogues. To our knowledge, it is the first time that DST is applied to Portuguese. To make it possible, the work included the creation of a dataset of task-oriented dialogues in Portuguese, based on the adaptation of the widely-used MultiWOZ dataset. A key component of DST is Information Extraction (IE), where specific information is extracted and filled into slots based on user-defined constraints. This was achieved using a novel approach based onQuestion-Answering (QA), which extracts an answer based on a provided question and context (user’s utterance). In this work, three available QA models were tested for this purpose: BERT-base, BERT-large, and T5. We concluded that the model with the poorest performance was T5. The other two models yielded similar results. The choice between these two alternatives depends on the specific task the user aims to accomplish. Both (BERT-base, BERT-large) have demonstrated promise in solving tasks in the Portuguese language. Additionally, we found that the addition of methods such as Intent Detection and Post-Processing significantly improves the performance of each model. These findings not only contribute to the advancement of DST in Portuguese-speaking communities but also open new avenues for the implementation of new dialogue systems based on the dataset created.