Neuromorphic Event-based Activity and Anomaly Detection

Abstract

O desenvolvimento de sensores na forma de câmara tem vindo a causar um grande impacto na vida das pessoas, dado que diversos tipos de aplicações são suportados por esta tecnologia. Estas variam entre aplicações de lazer até aplicações de controlo de qualidade e segurança, entre muitas outras. Na última década, um tipo de câmara diferente, desenhado no final da década de 1980, começou a captar o interesse da comunidade de investigadores da área da Visão por Computador. Esta câmara tem diversas denominações, tais como câmara neuromórfica, retina de silício, sensor dinâmico de visão e a mais utilizada, câmara de eventos. As câmaras de eventos mimetizam o comportamento das estruturas neuronais presentes no olho humano. Como tal, elas capturam variações de luminosidade ao nível dos pixéis, contrastando com a captura de frames efetuada pelas câmaras convencionais. As características destas câmaras abriram caminho para um novo paradigma na área científica da Visão por Computador. Tipicamente, em aplicações ou cenários de videovigilância, existe uma grande preocupação no que diz respeito à privacidade das pessoas. As câmaras tradicionais que são utilizadas neste tipo de aplicações tem a capacidade de captar a aparência de um indivíduo, e este aspeto tem vindo a colocar uma barreira na aprovação da vigilância local por parte das pessoas. Não existe um consenso sobre qual é mais importante: privacidade ou segurança? As câmaras de eventos podem ajudar a resolver este problema, já que nenhuma informação relativa à aparência é captada por estas. Os eventos são despoletados por extremidades (do inglês, edges) em movimento, portanto, apenas é registada a silhueta de um indivíduo, tornando difícil a sua identificação. Para além disso, estas câmaras apresentam um desempenho eficaz em condições de baixa luminosidade, permitindo a sua utilização durante dias inteiros sem a necessidade de tecnologias suplementares, como câmaras de visão noturna através de radiação infravermelha. Outra vantagem desta tecnologia sobre as câmaras tradicionais reside no seu baixo consumo energético. Esta dissertação procura estudar o desempenho deste tipo de câmaras em situações de deteção de eventos ou atividades anómalas numa cena. No início do desenvolvimento deste trabalho, apenas tinham sido publicados dois artigos referentes a este tema. Esta dissertação segue a abordagem baseada no fluxo ótico e procura expandir esta última com novos algoritmos de aprendizagem e utilizando uma câmara de um modelo diferente.

The development of camera sensors has had a great impact on people's lives, as several types of applications are backed by this technology. These can range from leisure applications to quality control and security applications, among many others. Over the past decade, a different type of camera sensor, designed in the end of the 1980's, started to gather the interest of the Computer Vision's research community. This camera has several denominations, including neuromorphic camera, silicon retina, dynamic vision sensor and the most used, event camera. Event cameras mimic the behaviour of the neuronal structures present in the human eye. Therefore, they capture brightness changes at pixel level, contrasting with the frame capturing performed by conventional cameras. This camera's characteristics have unlocked a new paradigm in the Computer Vision area of research. Typically, in surveillance applications or scenarios, there is a big concern with respect to people's privacy. Traditional cameras deployed in these applications are able to capture the appearance of an individual, and this aspect has created a barrier to people's approval of local surveillance. There is not a consensus over what is more important: privacy or security? Event cameras can help solve this issue, since no appearance information is gathered by them. Events are triggered by moving edges, thus, it only captures the individual's silhouette, making it very difficult to identify them. Moreover, these cameras are known for performing effectively in low light conditions, allowing usability through entire days without requiring supplementary technologies, such as infrared night vision cameras. Another advantage of this camera technology, over traditional cameras, lies in low power consumption. This dissertation aims at presenting how this specific camera sensor performs with regards to the detection of anomalous events or activities in a scene. At the beginning of the development of this work, only two articles concerning this subject had been published. This dissertation follows the optical flow-based approach and targets the expansion of the latter with new learning algorithms and by using a different camera model.