Improving deep learning face recognition for ID and travel document applications with quality assessment

Abstract

Os métodos atuais de reconhecimento facial são baseados em redes neuronais que requerem grandes quantidades de dados para serem eficazes. Os grandes conjuntos de dados disponíveis publicamente são, em sua maioria, coleções de imagens de celebridades sem restrições. Estes conjuntos de dados não são otimizados para aplicações relacionadas com a segurança de documentos. Além disso, devido a questões de privacidade, os conjuntos de dados de imagens faciais úteis para o uso em situações que envolvem documentos de identificação são pequenos e difícil acesso. Este cenário não é favorável e há espaço para otimização. Neste trabalho, uma nova abordagem de reconhecimento facial com foco na mitigação deste problema é proposta. Foi elaborada uma estratégia para incluir a qualidade das amostras numa função de perda de margem angular, a fim de otimizar o processo de treino para o cenário de documentos identificação e viagem. Isto foi conseguido alterando o parâmetro de margem na função de perda ArcFace, para um valor adaptativo que depende da qualidade de cada amostra. A margem adaptativa foi formulada de forma a aumentar com o aumento da qualidade da amostra e, como tal, aumentar o valor da perda. Para caracterizar a qualidade da amostra, cinco diferentes métricas de qualidade relacionadas com padrões da ICAO para imagens em documentos de viagem foram usadas: Blur, BRISQUE, FaceQNet, qualidade de iluminação facial e qualidade da pose. Três benchmarks específicos foram criados para testar o desempenho do método desenvolvido em diferentes cenários: sem restrições, com restrições e com restrições estritas. Com os benchmarks criados, o método desenvolvido foi testado e comparado com as funções de perda ArcFace e Softmax. As experiências realizadas mostraram que o método de margem adaptativa desenvolvido é superior à função de perda de margem angular (ArcFace) para o cenário de documentos de identificação. Mais especificamente, o modelo baseado na qualidade da iluminação facial provou ter o melhor desempenho nos cenários com restrições e com restrições estritas de acordo com as métricas FNMR @ FMR. Os resultados também indicam uma superioridade do método no reconhecimento facial sem restrições. modelo baseado no blur apresenta os melhores resultados nestas condições. Também foram testados modelos com combinações de métricas de qualidade. Estes não provaram ser superiores aos modelos que só utilisaram uma métrica, no entanto, foi obtido um resultado mais regular entre cenários.

Current face recognition methods are based on deep neural networks that require large amounts of data to be effective. The large datasets publicly available are mostly collections of wild celebrity face images. These datasets are not optimised for document security-related applications. Moreover, due to privacy concerns, ID-compliant face image datasets are small and hardly accessible. This scenario is not favourable, and there is room for optimisation. In this work, a novel face recognition approach focused on the mitigation of this problem is proposed. A strategy was devised to include sample quality in an angular margin loss function in order to optimise the training process for the scenario of ID and Travel documents. This was achieved by changing the margin parameter in ArcFace to an adaptive value dependant on each sample's quality. The adaptive margin was formulated in such a way to increase with the increase in sample quality and as such, increase the loss value. To characterise sample quality, five different quality metrics closely related to ICAO standards were used: Blur, BRISQUE, FaceQNet, Face Illumination Quality and Pose Quality. Three specific benchmarks were designed to test the method's performance across different scenarios: Unconstrained, constrained and strictly constrained.With the designed benchmarks, the developed method was tested and compared with the ArcFace and Softmax losses. Experiments made show that the adaptive margin method developed is superior to the standard angular margin loss function (ArcFace) for the ID-compliant scenario. More specifically, the face illumination quality based model proved to better perform in the constrained and strictly scenarios according to FNMR@FMR metrics. The results also indicate a superiority of the method in unconstrained face recognition, namely the blur score model shows the best results. Models with combinations of scores were also tested. They did not prove to be superior to the single score models, however a more regular result across benchmarks was achieved.