Liveness Detection and Facial Recognition with Multi-Modal Features

Abstract

O interesse pelo tema detecção de vivacidade tem vindo a aumentar nos últimos anos devido ao desenvolvimento de novas ferramentas e conhecimentos na área de biometria. A detecção de vivacidade é essencial em sistemas de autenticação de identidade para impedir que alguém tenham acesso a informações confidenciais ilegalmente. Os sistemas de autenticação facial existentes podem ser enganados através de uma simples fotografia de um usuário legítimo, que pode ser facilmente obtida por meio de redes sociais, vídeo ou máscaras 3D. Vários algoritmos com o objetivo de deteção de vivacidade têm sido propostos para lidar com este problema, usando diferentes abordagens e numerosas bases de dados.A precisão do reconhecimento de rosto é significativamente melhorada usando redes de neuronais profundas devido à sua capacidade de extrair características profundas de rostos humanos. A combinação de recursos de vivacidade das imagens fornece uma generalização melhor para um classificador de liveness detection facial, aproveitando a fusão de recursos ou abordagens de fusão de modalidades, usada por todos os métodos anti-spoofing facial de última geração.Esta dissertação teve como objetivo a criação de um sistema de Detecção de Vivacidade e Reconhecimento Facial baseado em redes neurais convolucionais (RNC) e utilizando informações obtidas de 3 modalidades diferentes (RGB, Infra-vermelhos e Imagens de profundidade). O uso de múltiplas modalidades neste contexto ainda está a ser explorado, e ainda há muito desenvolvimento necessário para alcançar um sistema de autenticação biométrica perfeito.Para avaliar a precisão do nosso sistema, testamos a nossa rede na base de dados CASIA-SURF, que é uma base de dados com imagens faciais provenientes de diferentes modalidades bastante conhecido, e também criamos uma base de dados especificamente para esta tarefa. Testamos a nossa rede com diferentes arquiteturas e vários módulos e implementamos um sistema biométrico que pode funcionar no mundo real em tempo real. Os resultados foram promissores, mostrando a possibilidade de utilização desse sistema para autenticação de usuários no mundo real.

The interest in the topic of Liveness Detection has been increasing in the past few years due to the development of new tools and knowledge in the area of biometry. Liveness Detection is essential in user authentication systems to stop intruders from gaining access to confidential information illegally. The face authentication systems we have today can be victims to a simple photograph of a legitimate user, which can be easily obtained through social media networks, video replay, or 3D masks.Various face anti-spoofing algorithms have been proposed to tackle this problem, using different approaches, and numerous public face anti-spoofing databases and competitions.Face recognition accuracy is significantly improved using deep learning networks due to their ability to extract human faces’ deep features.The combination of liveness features from the image visual cues provides a better generalization for a face anti-spoofing classifier, taking advantage of the feature fusion or score fusion approach, used by all the state-of-the-art face anti-spoofing measures. This dissertation aimed to create a Liveness Detection and Facial Recognition system based on convolutional neural networks (CNN) and using information collected from 3 different modalities (RGB, Infra-Red, and Depth images). The use of multiple modalities in this context is still being explored, and there is still much development needed to achieve the perfect biometric authentication system.To evaluate the accuracy of our system, we tested with the network on the CASIA-SURF Dataset, which is a well-known multi-modality dataset, and we also created a dataset precisely for this task. We tested our network with different network architectures and modules and implemented a biometric system that can work in the real world in real-time. The results were promising, showing the possibility of using this system for user authentication in the real world