Unsupervised Vehicle Fingerprint Segmentation

Abstract

The management of automobile traffic is becoming increasingly present in our daily lives, encompassing areas such as surveillance and monitoring at toll booths, as well as average speed cameras, which have gained greater prominence recently in Portugal. These systems rely on automatic vehicle re-identification algorithms, which traditionally rely on license plate detection. However, they can easily fail when license plates are illegible or incorrect. In this scenario, methods based on extracting distinctive visual features of vehicles become relevant, with these features commonly referred to as the "vehicle fingerprint". This analogy to human fingerprints is due to the uniqueness of these characteristics and their ability to uniquely distinguish vehicles, much like fingerprints are unique to each individual. These features can be divided into two categories: those inherent to the canonical vehicle, such as color and shape, and more specific features external to the canonical vehicle, such as vehicle damage, advertisement layouts, and stickers. The combination of these characteristics allows for precise vehicle identification, ideally from any perspective that may appear in images.This dissertation aims to detect elements that make up the second set of unique characteristics, which can be compared to anomaly detection in industrial environments. However, applying methods from this field to our problem can be challenging due to variations in vehicle position, camera quality, and viewing angles in the images.To achieve this goal, we will primarily explore two avenues: supervised learning techniques and unsupervised approaches. Both aim to extract image regions representing unique features of the target vehicle that are not present in its canonical form. This pixel segmentation can be used later to ideally create a "vehicle fingerprint".

A gestão do tráfego automóvel está cada vez mais presente no nosso quotidiano, abrangendo áreas como vigilância e fiscalização em portagens, bem como radares de velocidade média, que têm ganhado maior destaque recentemente em Portugal. Esses sistemas dependem de algoritmos de re-identificação automóvel, que tradicionalmente se baseiam na deteção de matrículas. No entanto, eles podem falhar facilmente quando as matrículas estão ilegíveis ou incorretas.Neste cenário, métodos baseados na extração de características visuais distintivas de veículos ganham relevância, sendo essas características frequentemente chamadas de "impressão digital do veículo". Esta analogia com as impressões digitais humanas deve-se à singularidade das características e à sua capacidade de distinguir veículos de forma única, assim como as impressões digitais são únicas para cada indivíduo. Estas dividem-se em duas categorias: características endógenas ao veículo canónico, como a cor e a forma, e características mais específicas, exógenas ao veículo canónico, como desgaste e danos específicos, selos e adesivos. A combinação dessas características permite a identificação precisa do veículo, idealmente em qualquer perspetiva que possa aparecer em imagens.Esta dissertação tem como objetivo identificar elementos que compõem o segundo conjunto de características únicas, o que pode ser comparado com a deteção de anomalias em ambientes industriais. No entanto, aplicar os métodos deste dominio ao nosso problema pode ser desafiador, devido às variações na posição do veículo, qualidade da câmera e ângulo de visão nas imagens.Para atingir esse objetivo, exploraremos principalmente duas vertentes: técnicas de aprendizagem supervisionada e abordagens não supervisionadas. Ambas visam extrair as regiões da imagem que representam características únicas do veículo-alvo, que não estão presentes na sua forma canónica. Essa segmentação de pixels pode ser usada posteriormente para criar idealmente uma "impressão digital do veículo".