Estimação da pose de objectos em imagens RGB-D utilizando aprendizagem automática

Abstract

Este trabalho foi desenvoolvido no contexto de uma dissertação de mestrado do ramo de Automação e tem como objectivo explorar métodos baseados em "machine learning", capazes de estimar poses para objectos e implementar um método com a capacidade de gerar estimativas acerca de objectos variados, presentes num ambiente de trabalho monitorizado por um camera RGB-D (Kinect). O método de [Kehl et al., 2016] explora redes neuronais simples e convolucionais, com arquitecturas de "Auto-Encoder", para codificar amostras de imagens RGB-D em vectores de características e, de seguida, descodificá-los de volta nas amostras iniciais. Tirando partido destas redes "Auto-Encoders" em conjunto com imagens RGB-D de modelos sintéticos de objectos, onde é conhecido o seu "ground-truth", é gerado um registo de amostras codificadas, sob forma de vectores de características, associadas a transformações de corpo rígido. Uma imagem RGB-D do ambiente onde se encontram os objectos é segmentada em múltiplas amostras que são de seguida codificadas, utilizando as mesmas redes e comparadas ao registo criado, de forma a gerar votos acerca dos objectos presentes na imagem. Nesta dissertação tanto foi implementado o método de [Kehl et al., 2016] descrito como uma variante do mesmo, onde a etapa de comparação com o registo foi substituído por uma rede neuronal (Preditor), capaz de gerar votos de possíveis poses de objectos na imagem. Esta rede neuronal foi treinada tirando partido da informação existente nos registos criados.

This work was developed in the context of a master's thesis in the field of Automation and aims to explore methods based on machine learning, able to estimate poses for objects and implement a method with the ability to generate estimations about several objects, present in a work environment monitored by an RGB-D (Kinect) camera. [Kehl et al., 2016] method exploits simple and convolutional neural networks with "Auto-Encoder" architectures to encode RGB-D image samples into vectors of characteristics and then decode them back into the original samples. Taking advantage of these "Auto-Encoders" neural networks in association with RGB-D images of synthetic object models, where their ground-truth is known, a codebook is generated with coded samples in the form of vectors of characteristics associated with rigid body transformations An RGB-D image of the environment where the objects are located is segmented into multiple samples that are then encoded into vectors, using the same neural networks, and compared with the samples in the codebook in order to generate votes about the objects present in the image. In this dissertation the [Kehl et al., 2016] method described and a variant were implemented, where the stage of comparison with the codebook was replaced by a neural network (Predictor), capable of generating votes for possible object poses present in the image. This neural network was trained by taking advantage of existing information in the created codebooks.