Self-Supervised Attention for Vehicle Fingerprint

Abstract

Este trabalho visa encontrar formas de encontrar e delimitar as diferenças que distiguem cada veículo. O objectivo é conseguir discriminar entre veículos do mesmo tipo, marca, modelo ou cor através de elementos distintivos como os selos no pára-brisas, auto-colantes, objectos no interior de veículos, etc... Em suma, atributos que permitão distinguir entre veículos semelhantes, sem ter acesso a matrícula do veículo. Estes elementos são o que procuramos encontrar através deste trabalho.De forma a realizar esta proposta, este trabalho explora recursos diferentes de forma a não ser necessária uma supervisão completa ou uma colecção enorme de imagens anotadas. Com isto em mente, tentamos encontrar maneiras de atingir o objectivo combinando métodos não supervisionados com supervisionados.Esta pesquisa procura encontrar solução para mitigar problemas existentes nas auto-estradas portuguesas, em que os utilizadores tentam enganar o sistema. Este sistema é proposto para ser usado em conjunto com outros métodos já utilizados e desenvolvidos pelo Instituto de Sistemas e Robótica da Universidade de Coimbra, como sistemas de reconhecimento de matrículas ou classificação de marca e modelo. Os métodos concebidos passa por duas propostas diferentes, uma supervisionada e uma não supervisionada com base em sistemas de re-identificação. Nenhuma delas infalível, mas é um começo de resposta ao problema requesitado e outras propostas podem surgir com base neste trabalho de forma a melhorar o trabalho desenvolvido até aqui.

This work aims to research how to learn and spot the differences between each vehicle identity. The objective is to differentiate from vehicles with the same type, brand, model, and colour using different elements like stickers, spoilers, objects inside the vehicle, etc... attributes that can help distinguish between vehicles without looking at the license plate. These particular pieces of each individual are what we look to encounter with this research. So, we explore different methods to highlight these features without strictly supervising the method and needing a massive amount of annotations of the images. Since we do not possess the annotations to detect the wanted objects, we explore different paths to to discover such features in surveillance captured images of vehicles. The goal is to research a new approach to detect objects without annotations in the dataset applied in a certain environment. We also research with the existent supervised methods how much we can extract from a reduced size dataset. The methods researched are meant to answer a problem existent in Portugal highways, where people try to deceive the system. depending on the use case both can be applied. Specifically, we approach a supervised way with a small dataset annotated by us, and a new approach to detect objects without the annotations on the objects based in re-identification systems. The results show a decent result but lack tools to correctly identify the regions in the later stages of the project. In general, this project is a start with room for improvement.