On the accuracy of active learning from multiple, imperfect annotators

Abstract

The rise of Artificial Intelligence in society may come with broader applications in various fields. However, humans may still take a part, especially on the development of these models. With this shift, the reliance on human annotators becomes important in the process of acquiring labeled data. Active learning, typically a Human-in-the-Loop methodology, introduces an interplay between machine and human intelligence. Although this exchange might be productive it comes with many challenges and downsides if not programmed correctly. This thesis delves into the considerations of this interaction in a human-centered perspective. The main focus of this thesis is investigating the challenges and considerations associated with delegating labeling tasks to human annotators and its consequent implications on the accuracy of active learners for classification.With a focus on a realistic setup, this thesis investigates multiple annotators in imperfect oracle situations. The first step is then definition and implementation of reputation, as well as all the aspects attached to it. This goes along with deployment of Python's modAL algorithms to implement Active Learning strategies. The research investigates various factors contributing to annotator reputation, including accuracy performance, domain-specific expertise and others.The findings of this research were able to extend a normal Active Learning methodology, by incorporating notions from different fields. The proposed framework proved to deploy the ideas discussed in a robust way. With that, this thesis aims to guide responsible deployment of human knowledge in AI development.

A ascensão da Inteligência Artificial na sociedade pode surgir com aplicações mais vastas em vários campos. No entanto, os seres humanos podem ainda participar, especialmente no desenvolvimento destes modelos. Com esta mudança, a relevância de anotadores humanos torna-se importante no processo de aquisição de dados etiquetados. A aprendizagem ativa, normalmente uma metodologia Human-in-the-Loop, introduz uma interação entre a inteligência humana e a máquina. Embora esta troca possa ser produtiva, apresenta muitos desafios e desvantagens se não for programada corretamente. Esta tese centra-se em considerações sobre esta interação numa perspetiva centrada no ser humano. O foco principal desta tese é investigar os desafios e considerações associados à delegação de tarefas de etiquetagem em anotadores humanos e as suas consequentes implicações na precisão dos alunos ativos para a classificação.Focando-se numa configuração realista, esta tese investiga múltiplos anotadores em situações de oráculo imperfeito. O primeiro passo é então a definição e implementação da reputação, bem como de todos os aspectos que lhe estão associados. Isto é acompanahdo com a implantação de algoritmos modAL do Python para implementar estratégias de aprendizagem ativa. A investigação investiga vários fatores que contribuem para a reputação do anotador, incluindo o desempenho de precisão, o conhecimento específico do domínio e outros.Os resultados desta investigação foram capazes de estender uma metodologia normal de Aprendizagem Ativa, ao incorporar noções de diferentes campos. A estrutura proposta proporcionou a implementação das ideias discutidas de forma robusta. Com isto, esta tese visa orientar a implementação responsável do conhecimento humano no desenvolvimento da IA.