Computer Vision on the Edge

Abstract

Dado o crescimento ao longo dos anos nas capacidades de processamento de CPU e GPU eos avanços feitos na área de Deep Learning, é possível desenvolver modelos e arquiteturasde visão computacional mais complexos. Algoritmos de visão computacional estão presentese em execução em vários dispositivos e dispositivos do nosso dia-à-dia, desde carrosautónomos até o reconhecimento facial em smartphones.O objetivo deste trabalho passa por implementar uma solução eficiente que, através do usode Redes Neuronais Convolucionais e técnicas de Deep Learning, seja capaz de identificar eclassificar veículos com bom desempenho. A solução deve ser capaz de correr num EdgeHardware Device a ser colocado no SmartLamppost da Ubiwhere, um poste de luz que podeconter diferentes módulos, como câmeras e edge nodes capazes de processar dados. Será útil em tarefas como contagem e classificação de veículos que passam por uma determinadaárea, usando o feed de vídeo das câmeras.Para atingir este objetivo, diferentes abordagens foram seguidas para desenvolver o modelofinal. Desde a criação e optimização de um modelo, para a utilização de modelos pré treinados. A escolha final foi de uma estrutura de One-Stage Detectors, otimizados paravelocidade em dispositivos móveis. Como resultado, o modelo final obteve bons resultadosque alcançaram 39.36 % de mAP no dataset COCO e bons valores de inferência nodispositivo de edge.Este documento também apresenta um estudo do estado da arte na detecção e classificaçãode objetos em geral e, especificamente, sobre os diferentes modelos de detecção de objetos mais adequados para a detecção em tempo real.

Given the growth over the years in CPU and GPU processing capabilities and the advancementsmade in Deep Learning, it is now possible to develop more complex ComputerVision models and architectures. As a result, Computer Vision algorithms are presentand running in multiple devices and objects of our daily lives, from self-driving cars tosmartphone facial recognition.The goal of the present work is to implement an efficient model that can identify andclassify cars with good performance through the use of Convolutional Neural Networksand Deep Learning techniques. The solution should run on an Edge Hardware Device tobe placed in Ubiwhere’s SmartLamppost. This lamppost can contain different modules,such as cameras and edge nodes capable of processing data. It will be useful in counting andclassifying vehicles passing through a certain area, using the video feed from the cameras.To achieve this goal, different approaches were followed to develop the final model, fromcreating and optimizing a model to using pre-trained models. The final choice was a OneStage Detectors structure, optimized for speed on edge devices. As a result, the finalmodel obtained good results that reached 39.36 % of mAP in the COCO dataset and goodinference values on the edge device.This document also presents a study of state of the art in detecting and classifying objectsin general, and specifically about the different object detection models more suited forreal-time detection and the concepts that were essential for the realization of this work.