Neuromorphic Vision Based Multi-vehicle Detection and Tracking for Intelligent Transportation System

Abstract

O aparecimento da aprendizagem profunda e o crescimento do poder computacional culminou no avanço da resolução de vários problemas em diferentes áreas, como por exemplo o MOT. Esta área sempre foi alvo de grande interesse em visão por computador e com diversas aplicações em diferentes campos, como por exemplo videovigilância, entretinimento e condução autónoma. Durante muito anos os investigadores investiram tempo e esforço para melhorar a tarefa de seguimento de objetos usando câmeras RBG. Contudo, estas câmeras estão sempre limitadas devido à taxa de captura de informação e pelas condições de iluminação. Posto isto, nos últimos anos as câmeras neuromórficas têm sido exploradas pela comunidade científica para ultrapassar as limitações existentes através da capacidade de apenas transmitir mudanças de intensidade, ao nível do pixel, geradas pelo movimento na cena, resultando num conjunto de eventos com baixa latência, baixo consumo e uma dinâmica muito alta. Consequentemente, estes atributos podem gerar um grande contributo no seguimento de veículos. Para alcançar o objetivo deste trabalho, o problema é tratado pela fórmula de seguimento-por-deteção, onde o problema de deteção é avaliado por uma rede neuronal recorrente em duas tipologias: CNN e SSCN. Paralelamente, com o mesmo objetivo, irá ser avaliada uma rede com tipologia SNN com a arquitetura Tiny-YOLO. A fase de seguimento é alcançada usando um algoritmo online de seguimento de múltiplos alvos, SORT, e pela sua evolução, DeepSort, através da adição de um modelo profundo para extrair descritores de aparência. Relativamente aos resultados, a nossa implementação teve o segundo melhor resultado comparado com o estado da arte no dataset GEN1, que apenas é superado pelos autores do próprio dataset. O melhor resultado obtido é de 40% de mAP com uma rede de 24M de parâmetros enquanto a nossa rede obteve 31% com apenas 2.8M de parâmetros. Além disso, apresentamos resultados como base para trabalhos futuros sobre os datasets UA-DETRAC e BMVC para a deteção de objetos e seguimento de múltiplos veículos.

The arrival of deep learning and the increasing computational power has culminated at the advance of many problems in different fields, such as MOT. This area has always been a field of great interest in Computer vision with many applications in different fields, like surveillance, entertainment, and autonomous vehicles. For many years researchers have dedicated time and effort to improve the task of tracking objects in many scenes using RGB cameras. However, RGB cameras are always limited due to the rate of capture information and light conditions. Therefore, in the past years Neuromorphic Cameras have been explored by the scientific community to surpass the limitations through the ability to only transmit local pixel-level intensity changes generated by movement in a scene at the moment of occurrence, resulting in an information-rich stream of events with low latency, low power consumption and a very high dynamic range. Consequently, these attributes can generate great contributions in the tracking of vehicles for ITS. To achieve the purpose of this work, the problem is treated with detection-Based tracking formula, where the detection problem is evaluated by a recurrent detection neural network in two typologies, CNN and SSCN. In addition, while working on the same objective, it will be validated an SNN typology with a Tiny-YOLO architecture. The tracking phase is accomplished using an online multi-target tracking algorithm, SORT, and its evolution, DeepSort, through the addiction of a deep model for extracting appearance descriptors. The lack of labelled data is a real problem to validate the algorithms for detection and tracking with Neuromorphic Cameras. To solve this problem a python software tool v2e is used to synthesize a realistic dynamic vision sensor event camera data from UA-DETRAC and BMVC datasets. Regarding the results of this study, our network has advanced to the second best result in the existent results of state-of-art in the GEN1 dataset. The best result obtains 40% in mAP with a network of 24M parameters, while our network has only 2.8M parameters and obtains 31% in mAP. Furthermore, we present a baseline for future works on UA-DETRAC and BMVC dataset for object detection and multi-vehicle tracking.