Neuromorphic Vision-Based Traffic Anomaly Detection

Abstract

Anomaly detection is a crucial aspect of ensuring public safety in modern society. With the increasing use of automated systems and intelligent technologies, the ability to detect anomalous events in real-time has become more critical than ever. The proposed models in this work demonstrate the potential of using Generative Adversarial Networks (GANs) for Abnormal Event Detection (AED).The data used in this work is obtained through the use of Event Cameras (ECs), which are a significant advantage over traditional cameras, as ECs operate by measuring changes in brightness in each pixel independently, allowing them to detect motion with a very high temporal resolution, which makes them well-suited for tasks such as real-time monitoring and other applications where high temporal resolution is important. The dynamic range of ECs enables them to capture images with higher efficiency in challenging conditions, such as low light or high contrast environments, surpassing the performance of conventional cameras. This dissertation explores the use of GANs for AED in pedestrian contexts using event-based data in order to demonstrate the potential of these techniques, attempting to help improve the safety and efficiency of modern surveillance systems. Specifically, this work validates two GAN models, a conditional GAN (cGAN) and the Pix2Pix model, both making use of PatchGAN as a discriminator, to generate realistic and representative images from event-based data. The generated images are then used to detect whether an event is normal or abnormal, with the aim of seeing these events in real-world scenes.Overall, this work benefits from the growing body of research on using GANs for computer vision tasks and demonstrates their potential to be used in real-world applications such as surveillance monitoring. The results of this work provide validation for existing research in this area adapted for AED tasks.

A deteção de anomalias é um aspeto crucial da segurança pública na sociedade moderna. Com o aumento do uso de sistemas automatizados e tecnologias inteligentes, a capacidade de detetar eventos anómalos em tempo real tornou-se mais crítica do que nunca. Os modelos propostos neste trabalho demonstram o potencial do uso de Generative Adversarial Networks (GANs) para a Deteção de Eventos Anómalos (AED).Os dados utilizados neste trabalho são obtidos através do uso de Câmaras de Eventos (ECs), que representam uma vantagem significativa relativamente às câmaras tradicionais, visto que estas operam ao medir mudanças de brilho em cada pixel de forma independente, o que lhes permite detetar o movimento com uma resolução temporal muito elevada, tornando-as adequadas para tarefas como monitorização em tempo real e outras aplicações onde a alta resolução temporal é importante. A gama dinâmica das ECs permite-lhes capturar imagens com maior eficiência em condições aadversas, tais como ambientes com pouca luz ou com alto contraste, superando o desempenho das câmaras convencionais.Esta dissertação explora o uso de GANs para AED em contextos pedestres usando dados de eventos, a fim de demonstrar o potencial dessas técnicas, tentando ajudar a melhorar a segurança e eficiência dos sistemas de vigilância modernos. Especificamente, este trabalho valida dois modelos de GANs, uma conditional GAN (cGAN) e o modelo Pix2Pix, em que ambos fazem uso de uma PatchGAN enquanto discriminador, para gerar imagens realistas e representativas a partir de dados baseados em eventos. As imagens geradas são então usadas para detetar se um evento é normal ou anómalo, com o objetivo de ver esses eventos em cenas reais.No geral, este trabalho beneficia da crescente pesquisa sobre o uso de GANs para tarefas de Visão por Computador e demonstra o seu potencial para serem usados em aplicações reais, tais como monitorização de vigilância. Os resultados deste trabalho fornecem validação para a pesquisa existente nesta área, adaptada para tarefas de AED.