Object Segmentation and Classification from RGB-D Data

Abstract

A classificação de objetos é um fator chave no desenvolvimento de robôs autónomos. A classificação de objetos pode ser grandemente melhorada com uma anterior segmentação e extração de características confiáveis. Com isso em mente, o principal objetivo desta dissertação é implementar um algoritmo de classificação de objetos, capaz de classificar objetos do conjunto de objetos e modelos de Yale-CMU-Berkeley (YCB), através do uso de um novo método de extração de características não supervisionado a partir de dados de vermelho, verde, azul e profundidade (RGB-D) e de redes neuronais artificiais do tipo feedforward (FFANNs). No método aqui apresentado, após a aquisição de dados a partir de uma câmara RGB-D, o ruído é removido e os objetos na cena são isolados. Para cada objeto isolado, agrupamento k-means é aplicado para extrair uma cor global e três cores principais. Três pontuações são calculadas com base no encaixe de formas primitivas (cilindro, esfera ou prisma retangular). As dimensões do objeto e volume são estimados calculando o volume da melhor forma primitiva ajustada anteriormente. De seguida, com essas características, FFANNs são treinadas e usadas para classificar esses objetos. Testes experimentais foram realizados em 20 objetos, do conjunto de objetos e modelos de YCB e os resultados indicam que este algoritmo tem uma precisão de reconhecimento de 96%, com cinco objetos no espaço de trabalho ao mesmo tempo e em poses aleatórias. Também é desenvolvido, um método de cálculo da localização de um objeto, com base na localização do centro geométrico, da melhor forma primitiva ajustada anteriormente.

Object classification is a key factor in the development of autonomous robots. Object classification can be greatly improved with previous reliable segmentation and feature extraction. With this in mind, the main objective of this dissertation is to implement an object classification algorithm, capable of classifying objects from the Yale-CMU-Berkeley (YCB) object and model set, through the use of a novel unsupervised feature extraction method from red, green, blue and depth (RGB-D) data and feedforward artificial neural networks (FFANNs). In the method presented here, after the acquisition of data from an RGB-D camera, noise is removed and the objects in the scene are isolated. For each isolated object, k-means clustering is applied to extract a global main colour and three main colours. Three scores are computed based on the fitting of primitive shapes (cylinder, sphere or rectangular prism). Object dimensions and volume are estimated by calculating the volume of the best primitive shape previously fitted. Then with these features, FFANNs are trained and used to classify these objects. Experimental tests were carried out in 20 objects, from the YCB object and model set and results indicate that this algorithm has a recognition accuracy of 96%, with five objects in the workspace at the same time and in random poses. Also, a method of calculating the location of an object, based on the location of the geometric centre, of the best primitive shape previously fitted is developed.