SynPhoRest v2.0 - Synthetic Photorealistic Forest Environments Generation Using Unreal Engine 5

Abstract

O área de aprendizagem computacional tem observado um crescimento exponencial devido aos rápidos avanços da tecnologia computacional e à crescente procura em diversas áreas. A cadência de desenvolvimento é extremamente elevada, tornando-se rapidamente um dos mercados mais lucrativos. A aprendizagem profunda, um ramo da aprendizagem computacional, utiliza redes neuronais para aprender através de dados e tem obtido resultados excelentes. No entanto, estes resultados têm um preço: vastas quantidades de dados são necessários para treinar estes modelos. Os dados precisam ser recolhidos e anotados corretamente, uma tarefa manual tão monótona e extensa que apresenta uma elevada taxa de erro. Isto leva à escassez de dados, casualmente chamada de gargalo para a aprendizagem computacional. A aprendizagem profunda é amplamente aplicada à navegação autônoma, com maior foco no desenvolvimento de carros autônomos. A necessidade de grandes quantidades de dados e a disponibilidade reduzida de dados anotados resultam na falta de diversidade, onde a maioria dos dados disponíveis está associado a ambientes urbanos. A falta de dados relacionados com ambientes rurais e florestais, juntamente com as dificuldades associadas à sua etiquetação, aumentam a necessidade de gerar dados sintéticos para incorporar no treino de modelos. Esta tese tem como objetivo preencher esta lacuna e facilitar a criação de dados focados em cenários florestais. O sistema proposto, construído usando o Unreal Engine 5, é capaz de gerar procedimentalmente ambientes florestais virtuais navegáveis e realizar a extração de dados sintéticos relevantes. Devido às capacidades do Unreal Engine 5, o sistema é capaz de alcançar um alto nível de fotorrealismo e simular com precisão áreas florestais. Através do uso de câmeras virtuais e da exploração das funcionalidades do Unreal Engine 5, o sistema é capaz de extrair dados no formato de imagens RGB, mapas de segmentação semântica e mapas de profundidade. Como um software pronto a publicar, este sistema oferece aos utilizadores a possibilidade de se movimentarem no ambiente gerado. O sistema oferece três métodos de geração de dados, duas perspectivas e a capacidade de ativar modos de visualização de dados. Por fim, a avaliação do sistema resultou em mapas de segmentação semântica e mapas de profundidade com precisão ao nível do pixel. A avaliação de desempenho foi positiva, com o sistema a ser capaz de produzir uma centena de dados completos em pouco mais de uma hora.

The field of machine learning has experienced tremendous growth due to rapid advancements in computer technology and the increasing demand in the most various fields. The development cadence is extremely high and it’s rapidly becoming one of the most profitable markets. Deep Learning, a branch of machine learning, uses a neural network to learn from data with excellent results. However, these results came at price of enormous datasets that are required for the training of these models. The data needs to be collected and correctly labelled, a manual task so monotonous and extensive that has an elevated error rate. This leads to shortage of data that is commonly called the bottleneck for Machine Learning. Deep learning is being widely applied to autonomous navigation, with self-driving cars leading the charge. The necessity of extensive amounts of data and the reduced availability of labelled datasets, translates to lack of diversity, where most available datasets are related to urban environments. The lack of data related to rural and forested environments and the difficulties associated with their labeling propel the need to generate synthetic data to incorporate in training. This thesis aims to bridge the gap and facilitate the creation of datasets focused on forest scenarios. The proposed system, built using Unreal Engine 5, is capable of procedurally generate navigable virtual forest environments and perform the extraction of accurate synthetic data. Due to Unreal Engine 5 capabilities, the system is able to achieve a high-level of photorealism and accurately simulate forested areas. Through the use of virtual cameras and exploiting Unreal Engine 5 functionalities, the system is able to extract data in the format of RGB images, semantic segmentation maps and depth maps. As a ready to ship software, this system offers users free mobility in the generated world. The system offers three methods of data generation, two perspectives and the ability to activate data view modes. Finally, the assessment of the system resulted pixel-perfect accuracy in both semantic segmentation maps and depth maps. The performance evaluation was positive, with the system capable of producing one hundred complete sets of data in just over one hour.