Advances in 3D point cloud compression using deep learning

Abstract

À medida que nuvens de pontos 3D se tornam mais comuns como uma representação de conteúdo visual 3D, a necessidade de comprimir eficientemente estes dados torna-se cada vez maior. Investigações evidenciam que soluções baseadas em aprendizagem profunda para codificação de nuvens de pontos resultam num aumento no desempenho comparado com métodos mais tradicionais como os utilizados nos codificadores G-PCC e V-PCC desenvolvidos pela MPEG. No contexto de compressão de nuvens de pontos baseada em aprendizagem profunda, esta Dissertação examina e avalia o uso da arquitetura de aprendizagem profunda denominada Transformer, bem como entradas do modelo profundo baseadas em patches. Combinando estas técnicas com soluções estado da arte na literatura de compressão de nuvens de pontos usando aprendizagem profunda, são propostos e avaliados quatro novos codificadores. Os resultados obtidos demonstram, não só um aumento de desempenho comparado com o codificador base MPEG G-PCC Octree em termos da métrica D1 PSNR, mas também um aumento no desempenho comparado com o codificador base baseado em aprendizagem profunda PCC Geo v2. Esta Dissertação também apresenta um estudo que analisa o impacto no desempenho dos codificadores propostos de vários parâmetros, com o intuito de guiar investigações futuras no tópico de compressão de nuvens de pontos baseada em aprendizagem profunda. Finalmente, é realizado um estudo com o objetivo de extender a funcionalidade de soluções estado da arte em compressão de nuvens de pontos baseada em aprendizagem profunda para também comprimir informação da cor de cada ponto da nuvem de pontos. Em termos de espaço de cor na codificação, são realizados estudos usando os espaços de cor RGB, YCbCr, LAB e HSV para determinar qual deles é o mais adequado para comprimir as nuvens de pontos. Todas as soluções exploradas são também comparadas com o desempenho do codificador base V-PCC.

As 3D point clouds become more common as a representation of three dimensional visual content, the need to efficiently compress this data grows ever stronger. Research has shown that deep learning based approaches to point cloud coding see an increase in performance when compared with more traditional methods like the MPEG Geometry Point Cloud Compression (G-PCC) and MPEG Video-based Point Cloud Compression (V-PCC) encoders developed by Moving Picture Experts Group. This Dissertation examines and evaluates the use of the deep learning Transformer architecture and patch-based inputs combined with well developed deep learning point cloud compression solutions described in the literature. To that end, we propose four new deep learning encoders. The obtained results show an improvement over the G-PCC Octree encoder in terms of the D1 PSNR metric, as well as an improvement over the baseline PCC Geo v2 codec. The Dissertation also presents an ablation study conducted to analyze the impact of several encoder related parameters and structures that can guide future research in deep learning point cloud compression. Finally, a study is conducted to extend current state-of-the-art deep learning point cloud compression solutions to also compress the color information of the point cloud. A detailed study is performed over the RGB, YCbCr, LAB and HSV color spaces to determine the best suited color space to compress the point clouds, while also comparing the reconstructed point clouds to the MPEG V-PCC codec baseline.