Please use this identifier to cite or link to this item: http://hdl.handle.net/10316/81567
Title: Identity Recognition using Facial Appearance and Shape Information
Other Titles: Reconhecimento de Identidade usando aparência facial e informação tridimensional de forma
Authors: Duarte, Rafael Alves 
Orientador: Batista, Jorge Manuel Moreira de Campos Pereira
Keywords: Facial recognition; Facial alignment; Histogram of Oriented Normal Vectors; Sparse Coding; Kinect; Reconhecimento Facial; Alinhamento Facial; Histograma Orientado a Vectores Normais; Codificação Esparsa; Kinect
Issue Date: 23-Sep-2016
Serial title, monograph or event: Identity Recognition using Facial Appearance and Shape Information
Place of publication or event: DEEC
Abstract: Esta tese centra-se no reconhecimento de identidade através de imagens RGBD, sendo que para tal vão ser utilizados dois métodos distintos em simultâneo: 'Constrained Local Models' (CLM) e Codificação Esparsa.Os CLMs são métodos populares desenhados para localizar os pontos característicos de cada face. Estes combinam um conjunto de detectores locais, um para cada ponto, com uma estratégia de optimização global, que maximiza a pontuação de todos os detectores em simultâneo.Pretende-se desenvolver uma extensão do algoritmo 'Constrained Local Models' que permite a utilização de múltiplas fontes de informação, entre as quais dados provenientes de sensores RGBD. Este tipo de informação permite combinar as tradicionais imagens RGB com imagens de profundidade, tendo como intuito mitigar algumas lacunas dos métodos tradicionais e aumentar a sua robustez, uma vez que as imagens de profundidade são insensíveis às condições de luminosidade, reflectem geometria e contornos da forma. Neste contexto, introduziu-se a possibilidade de utilizar vectores normais, como descritor de profundidade, na formulação CLM. Na pratica utilizar-se-ão detectores lineares que recorrem a Histograma Orientado a Vectores Normais (HONV).No que recai sobre reconhecimento facial, irá ser utilizada a codificação esparsa, devido à sua crescente popularidade junto da comunidade cientifica de Visão por Computadores, devido tanto às suas capacidades de representação, de classificação, de minimização de sobrecarga computacional, assim como à sua capacidade de lidar com oclusão.A codificação esparsa baseia-se na utilização de um dicionário aprendido à priori, para encontrar uma combinação linear esparsa de átomos, ou elementos, que mais fielmente recriam a imagem original. Será deste modo possível validar a existência de um individuo no dicionário (base de dados) tornando, assim, a codificação esparsa num potencial candidato para efectuar o desejado reconhecimento facial.Ambos os métodos serão desenvolvidos e testados em OpenCV/C++ juntamente com uma câmara Kinect, uma vez que esta tem a capacidade de capturar tanto imagens a cores como de profundidade.Para concretizar o objectivo criar-se-á uma base de dados de fotos, utilizando uma amostra de dezanove voluntários, em que a cada um será solicitadoque faça sete expressões faciais e cinco poses diferentes. Esta será usada com o intuito de criar os modelos faciais deformáveis, e paralelamente,originará um dicionário com o intuito de habilitar o computador a fazer uma correspondência facial.Esta dissertação tem como objectivo verificar se há melhorias no processo de alinhamento em comparação com as imagens tradicionais de RGB; verificar se é possível combinar métodos de alinhamento com este género de reconhecimento facial; e por último, testar a viabilidade de um sistema desenvolvido em tempo real que efectua ambos os processos.
This thesis focus on identity recognition through RGBD images and for that effect two different methods will be used simultaneously: Constrained Local Models (CLM) and Sparse Coding.The CLMs are popular method designed to locate characteristics points in faces.They combine a set of local detectors (or patch experts), one for each landmark, with a global optimization strategy that maximize the score of all the detectors simultaneous.In this thesis, it was developed an extension of the Constrained Local Models algorithm that allows the use of multiples sources of information, like for example data from RGBD sensors. This type of information allow us to combine traditional RGB images with depth images with the intention of mitigating some drawbacks of traditional methods an augment his robustness, since the depth images are insensible to lightning conditions, reflect pure geometry and contours of the shape.In this context, it was introduced the possibility to use normal vectors, as depth descriptor, in the CLM formulation.In practice are use linear detectors which resort to the Histogram of Oriented Normal Vectors (HONV). Relatively to facial recognition, it will be used sparse coding, due to is rising popularity with the scientific community of Computers Vision, justified by its capabilities of both representation and classification, minimizing the computational overhead and its ability to deal with occlusion. The sparse coding is based in, using a prior leaned dictionary, finding the sparse linear combination of atoms, or elements, that most accurately recreate the original image.This will allow to validate the existence of an individual in the dictionary (database) thus making the sparse coding a potential candidate to perform the desired facial recognition.Both methods will be developed and tested in OpenCV/C++ along side with a Kinect camera, since it has the ability to capture both color images and depth images.To achieve the objective a photo database will be created, using nineteen individuals, where each one will be asked to make seven facial expressions and five different poses.This will be used in order to create the deformable face models, and in parallel, will originate a dictionary in order to enable the computer to make a face matching.This dissertation aims to verify if there is improvements in the alignment process compared with the traditional RGB images;see if it is possible to combine alignment methods with this kind of facial recognition;and finally, testing the feasibility of a developed system in real-time to perform both processes.
Description: Dissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e Tecnologia
URI: http://hdl.handle.net/10316/81567
Rights: openAccess
Appears in Collections:UC - Dissertações de Mestrado

Files in This Item:
File Description SizeFormat
Thesis_Rafael_Duarte.pdf31.38 MBAdobe PDFView/Open
Show full item record

Page view(s) 50

463
checked on Aug 4, 2022

Download(s) 50

478
checked on Aug 4, 2022

Google ScholarTM

Check


This item is licensed under a Creative Commons License Creative Commons