Pseudo-Sequence Light Field Image Representation and Encoding for Improved Random Access and Scalability

Abstract

Imagens Light Field contem uma representação visual mais rica do mundo. No entanto, o tamanho destas imagens acarreta custos significativos de armazenamento, transmissão e processamento. Por isso é atualmente necessário desenvolver novos métodos de compressão para imagens Light Field. Nesta dissertação propõe-se um novo método para comprimir eficazmente imagens Light Field. O novo método de compressão foi desenhado não só para comprimir eficientemente, mas também para melhorar o acesso aleatório e permitir escalabilidade.O método de compressão proposto é baseado em codificação de pseudo-sequências usando a extensão Multi-View do HEVC. O método primeiro decompõe a imagem Light Field em múltiplas vistas. Estas vistas são de seguida reordenadas, por ordem uma ordem de digitalização desenvolvida nesta dissertação ao qual chamamos Quadratic Sprial, onde várias pseudo-sequências são enviadas para um codificador de vídeo MV-HEVC. No codificador as pseudo-sequências são codificadas de acordo com uma estrutura de codificação. A estrutura de codificação foi desenhada especificamente para melhorar o acesso aleatório, sem deixar de explorar a correlação entre as vistas. O método de compressão desenvolvido permite também utilizar a estrutura em camadas do MV-HEVC, para descodificar imagens Light Field de forma escalável. No descodificador a imagem Light Field é representada de forma escalável, onde cada representação é composta por padrões periódicos de vistas. Estes padrões são gerados pela forma como a ordem de digitalização organiza as vistas em pseudo-sequências.Para avaliar o método de compressão desenvolvido, foram seguidas as condições de teste definidas pelo grupo JPEG Pleno. Os resultados experimentais obtidos demonstram que a ordem de digitalização Quadratic Spiral melhora o acesso aleatório. Foi também concluindo que o método desenvolvido comprime eficientemente imagens Light Field conseguindo alcançar um ganho médio PSNR de 7,5 dB comparado com JPEG de referência, o que está de acordo com melhores métodos de compressão atuais.Para finalizar, o método de compressão foi melhorado ajustando dinamicamente o parâmetro de quantização (QP) individualmente para cada trama. Para encontrar os melhores valores de QP para cada trama foram utilizados métodos heurísticos. Esta otimização do QP melhorou significativamente o método de compressão desenvolvido, permitindo comprimir uma imagem Light Field com menos 22% bits comparado com o método sem melhoramento.

Light field images allow to capture richer visual information from our world. However, these images have large size which increase significantly storage, transmission, and processing costs. Therefore, new strategies to compress light field images are relevant and timely. This dissertation devises a new method to efficiently compress light field images. The compression method was designed to maximize the compression efficiency but also able to provide random access and scalability.The proposed compressing method is based on pseudo-sequence coding using the Multi-View extension of HEVC. The method first decomposes the light field image into sub-apertures, which are subsequently used by a novel scan order, denoted Quadratic Spiral, to form multiple pseudo- sequences to be encoded by an MV-HEVC encoder. In the encoder, the pseudo-sequences are encoded according to a coding structure. The proposed coding structure was specifically designed to improve the random access performance, while still exploiting the temporal and inter-view correlations. Furthermore, using the layered structure of the MV-HEVC, a scalable representation of the light field can be decoded. The scalable representation is composed of periodic patterns of sub-apertures, the patterns are generated by the way the scan order arranges the sub-apertures in pseudo-sequences.\newline \null \quad In order to evaluate the developed compression method, the test conditions defined by JPEG Pleno Group were followed. The experimental results demonstrate that the Quadratic Spiral scan order provides improved random access performance. It was concluded that the proposed method is an efficient compression method for light fields, as it achieves an average PSNR gain of 7.5 dB over reference JPEG, which is in accordance with the best current state-of-art methods.An optimization based on dynamically adjusting the quantization parameter (QP) individually for each frame was performed. Heuristic methods were used to find the best quantization parameter (QP) values of each frame. It was demonstrated that the QP optimization improves significantly the proposed compression method, as bitrate savings up to 22\%, were obtained.