Transformers in Vehicle Re-Identification

Abstract

A Re-Identificação de Veículos (V-ReID) consiste em reconhecer um veículo em diver-sas câmaras, desempenhando assim um papel importante em diversas aplicações, tais comovideovigilância, investigação criminal e análise de fluxos de tráfego em Sistemas de Trans-porte Inteligentes (ITS).Apesar da elevada investigação que tem sido conduzida neste campo, a V-ReID continua aser um problema difícil de resolver devido às grandes variações de aparência entre pares intra-classe de imagens de veículos e à pequena variabilidade inter-classe. Por outras palavras,a aparência de um veículo varia significativamente com diferentes perspetivas, variações deiluminação, e outros factores, e além disso, diferentes veículos podem ser extremamentesemelhantes, aumentando assim a dificuldade de Re-Identificação (ReID).Os métodos baseados em Redes Neurais Convolucionais (CNNs) têm mostrado resultadosimpressionantes, no entanto, sofrem de perda de informação detalhada devido às convoluçõese operadores de downsampling. Entretanto, surgiu uma nova arquitetura revolucionáriadesignada de Vision Transformer, que recentemente ganhou muita atenção devido aos seusresultados surpreendentes em problemas de reconhecimento de imagem, bem como em váriasbenchmarks de ReID. Esta nova arquitectura pode extrair informação mais detalhada poisnão utiliza convoluções nem opreadores de downsampling.Tendo isto em conta e com base no crescente sucesso dos Vision Transformers, o principalobjetivo deste trabalho é avaliar a capacidade dos Transformers para detetar característicasintrínsecas dos veículos que os possam distinguir entre eles, ou seja, uma espécie de impressãodigital de cada veículo baseada na sua aparência, com o intuito de melhorar o desempenhoda V-ReID em benchmarks conhecidas

Vehicle Re-Identification (V-ReID) attempts to recognize the same vehicle across multiple cameras, and thus plays a major role in many applications such as video surveillance, criminal investigation, and traffic flows in Intelligent Transportation Systems (ITS).Despite the substantial research that has been conducted in this field, V-ReID remains a difficult problem to solve due to large variations in appearance between intra-class pairs of vehicle images and small inter-class variability. In other words, the appearance of a vehicle varies significantly depending on different viewpoints, illumination changes, and other factors, yet there are different vehicle identities (IDs) that look extremely similar, increasing the difficulty of Re-Identification (ReID).Convolution Neural Network (CNN)-based methods have shown impressive results so far, however, they suffer from detail information loss due to convolution and downsampling operators.Meanwhile, the Vision Transformer, a revolutionary architecture, has emerged and gained significant attention with outstanding results in image recognition problems as well as various ReID benchmarks.This novel architecture can extract more detailed information because it does not use convolution or downsampling operators.Taking it all into account and based on the scaling success of Vision Transformers, the main purpose of this work is to evaluate Transformers ability to detect intrinsic characteristics of each vehicle that can distinguish it from others, i.e. a vehicle fingerprint based on appearance, in order to enhance V-ReID performance in well-known benchmarks.