Please use this identifier to cite or link to this item:
https://hdl.handle.net/10316/81287
Title: | Evolutionary Computation for Classifier Assessment and Improvement | Other Titles: | Computação Evolucionária para Avaliação e Melhoria da Performance de Classificadores | Authors: | Correia, João Nuno Gonçalves Costa Cavaleiro | Orientador: | Machado, Fernando Jorge Penousal Martins | Keywords: | Evolutionary Computation; Machine Learning; Instance Generation; Image Generation; Genetic Programming; Genetic Algorithm; Computação evolucionária; Aprendizagem de máquina; Geração de instâncias; Geração de imagens; Programação genética; Algoritmos genéticos | Issue Date: | 28-Sep-2018 | Project: | info:eu-repo/grantAgreement/FCT/SFRH/SFRH%2FBD%2F90968%2F2012/PT | Abstract: | Typical Machine Learning (ML) approaches rely on a dataset and a model to solve problems. For most problems, optimisation of ML approaches is crucial to attain competitive performances. Most of the effort goes towards optimising the model by exploring new algorithms and tuning the parameters. Nevertheless, the dataset is also a key part for ML performance. Gathering, constructing and optimising a representative dataset is a hard task and a time-consuming endeavour, with no well-established guidelines to follow. In this thesis, we attest the use of Evolutionary Computation (EC) to assess and improve classifiers via synthesis of new instances.
An analysis of the state of the art on dataset construction is performed. The quality of the dataset is tied to the availability of data, which in most cases is hard to control. A throughout analysis is made about Instance Selection and Instance Generation, which sheds light on relevant points for the development of our framework.
The Evolutionary Framework for Classifier Assessment and Improvement (EFECTIVE) is introduced and explored. The key parts of the framework are identified: the Classifier System (CS) module, which holds the ML model that is going to be assessed and improved; the EC module responsible for generating the new instances using the CS module for fitness assignment; and the Supervisor, a module responsible for managing the instances that are generated. The approach comes together in an iterative process of automatic assessment and improvement of classifiers.
In a first phase, EFECTIVE is tested as a generator, creating instances of a particular class. Without loss of generality, we apply the framework in the domain of image generation. The problem that motivated the approach is presented first: frontal face generation. In this case, the framework relies on the combination of an EC engine and a CS module, i. e., a frontal face detector, to generate images of frontal faces. The results were revealing in two different ways. On the one hand, the approach was able to generate images that from a subjective standpoint resemble faces and are classified as such by the classifier. On the other hand, most of the images did not resemble faces, although they were classified as such by the classifier module. Based on the results, we extended the approach to generate other types of object, attaining similar results. We also combined several classifiers to study the evolution of ambiguous images, i. e. images that induce multistable perception. Overall, the results suggest that the framework is viable as a generator of instances and also that these instances are often misclassified by the CS module.
Building on these results, in a second phase, a study of EFECTIVE for improving the performance of classifiers is performed. The core idea is to use the evolved instances that are generated by the EC engine to augment the training dataset. In this phase, the framework uses the Supervisor module to select and filter the instances that will be added to the dataset. The retraining of the classifier with these instances completes an iteration of the framework. We tested this pipeline in a face detection problem evolving instances to: (i) expand the negative dataset; (ii) expand the positive dataset; and (iii) expand both datasets in the same iteration. Overall, the results show that: expanding the negative dataset, by adding misclassified instances, reduces the number of false alarms; expanding the positive dataset increases the number of hits; expanding positive and negative datasets allows the simultaneous reduction of false alarms and increase of hits. After demonstrating the adequacy of EFECTIVE in face detection, we tested the framework in a Computational Creativity context to create an image generation system that promotes style change, obtaining results that further demonstrate the potential of the framework. As abordagens típicas de Aprendizagem de Máquina (AM) dependem de um conjunto de instâncias e de um modelo para resolver problemas. Para a maioria dos problemas, a otimização das abordagens AM é crucial para obter desempenhos competitivos. A maior parte do esforço vai no sentido de otimizar o modelo através da exploração de novos algoritmos e do ajuste de parâmetros. No entanto, o conjunto de instâncias é também parte fundamental no desempenho de abordagens de AM. Reunir, construir e otimizar um conjunto de instâncias representativo é uma tarefa difícil e morosa, sem diretrizes bem estabelecidas. Nesta tese, atestamos o uso de Computação Evolucionária (CE) para avaliação e aperfeiçoamento de classificadores através da síntese de novas instâncias. Efetuou-se uma análise do estado da arte sobre construção de conjunto de instâncias. A qualidade do conjunto de instâncias está ligada à disponibilidade de dados que, na maioria dos casos, é difícil de controlar. Uma análise completa é feita sobre a seleção e geração de instâncias, o que esclarece pontos relevantes para o desenvolvimento do nosso sistema. O EFECTIVE (Sistema Evolucionário para a Avaliação e Melhoria de Classificadores) é introduzido e explorado. Os componentes principais do sistema são: o módulo sistema de classificação SC, que contém o modelo de AM que será avaliado e melhorado; por o módulo de CE responsável por gerar as novas instâncias usando o módulo SC para atribuição da aptidão; e o Supervisor, um módulo responsável por gerir as instâncias geradas. A abordagem consiste num processo iterativo de avaliação automática e aprimoramento de classificadores. Numa primeira fase, o EFECTIVE é testado como gerador, criando instâncias de uma classe em particular. Sem perda de generalidade, aplicamos o sistema no domínio da geração de imagens. O problema que motivou a abordagem é apresentado em primeiro lugar: geração de imagens de faces frontais. Neste caso, o sistema depende da combinação de um motor de CE e de um módulo SC, i. e., um detector de faces frontais, para gerar imagens de faces frontais. Os resultados foram reveladores de duas maneiras distintas. Por um lado, a abordagem foi capaz de gerar imagens que, de um ponto de vista subjectivo, se assemelham a faces e são classificadas como tal pelo classificador. Por outro lado, a maior parte das imagens não se parecem com faces, muito embora tenham sido classificadas como tal por parte do classificador. Com base nos resultados estendemos a abordagem para gerar outro tipo de objectos, obtendo resultados similares. Também se combinou vários classificadores num estudo sobre evolução de imagens ambíguas, i. e., imagens que induzem perceção multiestável. De um modo geral, os resultados sugerem que o sistema é viável como um gerador de instâncias e que essas instâncias são muitas vezes mal classificadas pelo SC. Com base nos resultados obtidos, numa segunda fase, efectuámos o estudo sobre o EFECTIVE para aprimoramento da performance de classificadores. A ideia central é utilizar as instâncias geradas pelo motor de CE para aumentar o conjunto de dados de treino do classificador. Nesta fase, o sistema usa o módulo Supervisor para selecionar e filtrar as instâncias que serão adicionadas ao conjunto de treino. O re-treinar do classificador com essas instâncias completa uma iteração do sistema. Testou-se este processo num problema de deteção de faces, evoluindo instâncias para: (i) expandir o conjunto dos negativos; (ii) expandir o conjunto dos positivos; e (iii) expandir ambos os conjuntos na mesma iteração. De um modo geral, os resultados mostram que: expandindo o conjunto dos negativos, adicionando instâncias mal classificadas, reduz o número de falsos alarmes; expandindo o conjunto dos positivos aumenta o número de caras bem detetadas; expandindo o conjunto dos positivos e dos negativos ao mesmo tempo resulta na redução de falsos alarmes e no aumento de caras bem detetadas. Após demonstrar a adequação do EFECTIVE na deteção de faces, testamos o sistema num contexto de Criatividade Computacional para criar um sistema de geração de imagens que promove mudança de estilo, obtendo resultados que demonstram o potencial do sistema. |
Description: | Thesis submitted to the University of Coimbra in partial fulfilment of the requirements for the Doctoral Program in Information Science and Technology | URI: | https://hdl.handle.net/10316/81287 | Rights: | openAccess |
Appears in Collections: | FCTUC Eng.Informática - Teses de Doutoramento |
Files in This Item:
File | Description | Size | Format | |
---|---|---|---|---|
Evolutionary Computation for Classifier Assessment and Improvement.pdf | 92.83 MB | Adobe PDF | View/Open |
Page view(s) 50
435
checked on Aug 14, 2024
Download(s)
170
checked on Aug 14, 2024
Google ScholarTM
Check
This item is licensed under a Creative Commons License