Detection of Humans and Animals in a Forestry Environment using Edge Computing

Abstract

Os incêndios florestais são um problema crescente nos dias de hoje, exigindo medidas urgentes para suprimir a intensificação destes acontecimentos. Uma das medidas tomadas é a prevenção, envolvendo limpeza de florestas através da limpeza de material inflamável. Esta tarefa torna-se repetitiva após algum tempo, para além disso, também representa um risco para o ser humano se não for feita com cautela. Uma solução para os perigos deste trabalho árduo são os robôs de limpeza florestal, auxiliando ou até substituindo os humanos para fazer estas tarefas. Ao operar estes robôs deve-se estar ciente de que os mesmos podem ser perigosos para o seu meio em redor (humanos, animais selvagens, etc.). Para prevenir este risco é necessário possuir um sistema de alerta para estes robôs. Esta dissertação propõe uma solução para um sistema de deteção de humanos e animais num ambiente florestal. A solução proposta utiliza o dispositivo móvel de aceleração gráfica NVIDIA Jetson Nano, a câmara térmica FLIR ADK, e o modelo de deteção baseado em inteligência artificial SSD MobileNet V2. O sistema utiliza ferramentas de desenvolvimento para construir uma solução de software com o final de processar os dados obtidos pela câmara térmica e do modelo de deteção, mostrando os resultados obtidos numa interface gráfica. Além disso, o trabalho apresenta testes num ambiente real, bem como uma discussão dos resultados obtidos. Inclusivamente são apresentadas futuras ideias de melhoria para o sistema em causa.

Wildfires are a rising problem in the present days, requiring urgent measures to suppress the escalating of these events. One of the measures taken is prevention, involving the clearing of forests by removing flammable material. This action becomes repetitive and can represent a risk for the human if not done cautiously. A solution for the dangers of this hard labour job is forest cleaning robots, providing the aid that humans needed to perform these tasks. When operating these robots one should be aware that they can be dangerous to their surroundings (humans, wildlife encounters, etc). To prevent this risk conveys a need to have an alert system for these robots. This dissertation proposes a solution for a detection system for humans and animals in a forest environment. The solution uses an edge device, NVIDIA Jetson Nano, a thermal camera, FLIR ADK, and a deep learning detection model, the SSD MobileNet V2. The system uses frameworks and tools to gather a software solution to process the data obtained from the thermal camera and detection model, outputting the results in a graphical interface. Furthermore, the work presents real-world testing of the system, as well as a discussion of the results obtained. Moreover, it is presented future improvement ideas for the system.ㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤㅤ