Efficient Lossless Coding of Light Fields for Medical Imaging Systems

Abstract

The adoption of light field technology is often hindered by the large amount of data necessary to represent such information. In particular, applications with strict quality requirements call for compressed representations that can preserve the integrity of the original data captured from the visual scene. Such is the case of medical images which, due to technical and legal reasons, need to be archived with no quality loss. In this context, this thesis investigates efficient algorithms for lossless compression of light fields, in particular those acquired in a medical setting, using the MRP encoder as the basis framework for new solutions. The research work carried out within the scope of this thesis has produced three main contributions. The first one comprises pre-processing methods to ease the compression of light fields using standard-compliant and other state-of-the-art image/video lossless codecs available in the literature. A simulation study is presented, using generic image and video codecs, including MRP, HEVC, JPEG-LS, JPEG 2000, and CALIC, to assess the coding of light fields with various data arrangements. The results of this study show that encoding light field in a pseudo-video sequence arrangement is an efficient approach. The pre-processing algorithms developed in this research are shown to greatly improve the compression ef ficiency of four-dimensional transform based encoders, such as MuLE, specially in the cases where they are less efficient in comparison with the other standard light field en coder WaSP, i.e., in light fields with higher disparity. The second contribution consists in new algorithms, based on the MRP encoder, to ef ficiently exploit the redundancies present in the four-dimensional light field structure. These algorithms, named as 4D-MRP, DT-4D-MRP, and M-MRP, employ four-dimen sional prediction and data partitioning to fully exploit the inherent spatial and angular redundancies of the four-dimensional light field representation. The proposed algorithms largely surpass previous state-of-the-art lossless encoders, including those specifically tailored for light field coding. The third contribution proposes a hierarchical codec optimised for light fields that can trade-off compression efficiency for other functionalities like angular scalability and ran dom access. The enhanced capabilities of the this encoder, named as H-MRP, are expected to help the faster adoption of this technology, by allowing compatibility with legacy dis plays and easier navigation through light field viewpoints. The H-MRP encoder is highly configurable, and is able to surpass state-of-the-art methods both in terms of compression efficiency and its random access capabilities. Overall, the advances in lossless light field coding presented in this thesis demonstrate that the proposed methods achieve the best compression efficiency in comparison to other solutions available in the literature. Therefore these contributions establish a new state of-art in lossless light field coding.

A adopção da tecnologia light field é dificultada pela grande quantidade de dados neces sários para a sua representação. Em particular, aplicações com requisitos de qualidade rigorosos exigem formatos de representação comprimidos que possam preservar a integri dade dos dados originais capturados de uma cena. Este é o caso das imagens médicas que, por razões técnicas e legais, necessitam de ser arquivadas sem perda de qualidade. Neste contexto, esta tese investiga algoritmos eficientes para compressão sem perdas de light fields, em particular aqueles adquiridos em ambientes médicos, utilizando o codi ficador MRP como base para as novas soluções propostas. O trabalho de investigação desenvolvido no contexto desta tese resultou em três contribuições principais. A primeira envolve métodos de pré-processamento que facilitam a codificação de light fields utilizando codificadores de imagem/vídeo genéricos do estado da arte disponíveis na literatura. Um estudo experimental é apresentado, onde se usam codecs genéricos de imagem e vídeo, incluindo MRP, HEVC, JPEG-LS, JPEG 2000 e CALIC, para avaliar a codificação de light fields com vários arranjos de dados. Os resultados deste estudo mostram que codificar light fields reorganizados numa pseudo-sequência de vídeo é uma abordagem eficiente. Os algoritmos de pré-processamento desenvolvidos nesta pesquisa demonstraram melhorar bastante a eficiência de compressão de codificadores baseados em transformadas tetradimensionais, como o MuLE, especialmente nos casos onde são menos eficientes quando comparados com o outro codificador padrão de light field, WaSP, i.e., em light fields com maior disparidade. A segunda contribuição consiste em novos algoritmos, baseados na abordagem do MRP, para explorar de forma eficiente as redundâncias presentes na estrutura tetradimensional dos light fields. Estes algoritmos, denominados de 4D-MRP, DT-4D-MRP e M-MRP, uti lizam predição e partição tetradimensional dos dados para explorar de forma abrangente as redundâncias espaciais e angulares inerentes à representação tetradimensional de light fields. Os resultados obtidos com os algoritmos propostos ultrapassam largamente aqueles dos anteriores codificadores sem perdas do estado da arte, incluindo os especificamente adaptados para a codificação de light fields. A terceira contribuição propõe um codec optimizado para a codificação hierárquica de light fields que pode sacrificar a eficiência de compressão por outras funcionalidades como a escalabilidade angular e o acesso aleatório. É esperado que as capacidades avançadas deste codificador, denominado H-MRP, ajudem a adopção mais rápida desta tecnologia, permitindo a compatibilidade com ecrãs antigos e navegação mais fácil dos diversos pontos de vista presentes no light field. O codificador H-MRP é altamente configurável, e é capaz de superar métodos do estado da arte quer em termos de eficiência de compressão, quer nas suas capacidades de acesso aleatório. Em geral, os avanços na codificação sem perdas de light fields apresentados nesta tese demonstram que os métodos propostos atingem a melhor eficiência de compressão em comparação com outras soluções disponíveis na literatura. Por conseguinte, estas contri buições estabelecem um novo estado da arte em matéria de codificação sem perdas de light fields.