Evaluation of Point Cloud Data Augmentation for 3D-LiDAR Object Detection for Autonomous Driving

Abstract

Autonomous vehicles have made significant progress in recent years to tackle the unpredictable nature of real-world driving conditions. Highest-level self-driving vehicles are complex systems that, in the limit, can make decisions without human intervention based on many advanced modules such as the perception system. In this context, this thesis concentrates on the perception component/module of autonomous driving. Perception refers to an autonomous system's ability to collect information and extract significant data from the environment. Environmental perception (a.k.a. situational awareness) refers to a contextual understanding of where the obstacles (e.g., pedestrians, cyclists, cars) and signs/markings are located and also predicts their semantic meaning. To mimic human depth perception of the environment, 3D object detection technology is often used. This thesis in particular utilizes a deep learning (DL) model to detect 3D objects in urban scenarios. DL and other fields related to artificial intelligence and machine learning (AI/ML) are becoming vital for autonomous robots to represent, understand, and eventually adapt to their surroundings.This thesis surveys data augmentation methods in point clouds and their effects on estimating the position and orientation of objects using a recent LiDAR-based deep network (the PointPillars). In this regard, the PointPillars architecture extracts dense, robust features from LiDAR sensor point clouds, and then a 2D deep learning network with a modified SSD object detection network is used to estimate joint positions, orientations, and class predictions of the objects in the point cloud. Additionally, this dissertation presents a comparative evaluation of different techniques for 3D object detection on point clouds. The results show that global augmentation techniques on the point clouds have a significant impact on the estimation of the position and orientation of objects.

Os veículos autónomos fizeram progressos significativos nos últimos anos para enfrentar a natureza imprevisível das condições de condução no mundo real. Os veículos autónomos de mais alto nível são sistemas complexos que, no limite, podem tomar decisões sem intervenção humana com base em muitos módulos avançados, como o sistema de perceção. Nesta perspetiva, esta tese concentra-se no componente/módulo de perceção da condução autónoma. A perceção é a capacidade de um sistema autónomo de recolher e extrair dados relevantes do ambiente. A perceção ambiental (também conhecida como consciência situacional) é uma compreensão contextual referente à localização dos obstáculos e qual a classe/categoria semântica que representam, por exemplo, utilizadores da estrada (e.g., peões, ciclistas, veículos) e sinais/marcações. De modo a imitar a perceção humana de profundidade do ambiente, a tecnologia de deteção de objetos 3D é frequentemente usada. Esta tese, em particular, utiliza um modelo de aprendizagem profunda (DL) para detetar objetos 3D em cenários urbanos. A aprendizagem profunda (DL) e outras áreas pertencentes à inteligência artificial/aprendizagem computacional (AI/ML) são um elemento-chave para robôs autónomos reproduzirem, entenderem e adaptarem-se ao ambiente envolvente.Esta tese analisa métodos de aumento de dados em nuvens de pontos, assim como os seus respetivos efeitos na estimativa da posição e orientação de objetos usando uma rede profunda recente baseada em LiDAR (PointPillars). Nesse sentido, a arquitetura PointPillars extrai recursos densos e robustos de nuvens de pontos de sensores LiDAR e, em seguida, uma rede de aprendizagem profunda 2D com uma rede de deteção de objetos SSD modificada é usada para estimar posições, orientações e previsões de classe dos objetos na nuvem de pontos. Adicionalmente, esta dissertação apresenta uma avaliação comparativa das diferentes técnicas de deteção de objetos 3D em nuvens de pontos. Os resultados mostram que as técnicas de augmentation globais nas nuvens de pontos têm um impacto significativo na estimativa da posição e orientação dos objetos.