Kalman Filter-based Object Tracking Techniques for Indoor Robotic Applications

Abstract

The improvement of social robots have significantly increased, having in view an intelligent mobile robot system, that must be able to perform basic tasks, without compromising the human environment. Therefore, perception module has to be robust enough in object detection and tracking. Thus, the proposal of this dissertation, aims to integrate a multi-object tracking method in a mobile robotics context, mainly focusing on efficiency and performance, using the YOLOv3 object detector to acquire objects location in the image. This dissertation presents a study and exploitation of the SORT and the Deep-SORT Multi-Object Tracking by Detection methods. Aiming to increase robustness of assigning measurements to existing tracks, are introduced different conjugation of similarity metrics, regarding the data association module. Furthermore, to avoid the association between tracks and measurements of different classes, an object class based constraint is applied. These proposed data association techniques, were incorporated in the SORT and the Deep-SORT methods. The SORT, the Deep-SORT, and proposed data association techniques, were evaluated on the MOT17 training set and on the ISR Tracking Dataset (dataset labeled in this study). Moreover, an experiment for evaluating the performance of each method on a lower frame rate condition was performed, showing a decrease of performance. Nevertheless, experimental results attained without using object detector, shown an improvement of performance, when formulating the association problem with different similarity metrics. Throughout the development of this study, an indoor multi-class tracking dataset was labeled, providing useful conditions to validate the proposed framework. Therefore, a general evaluation of the SORT, the Deep-SORT and proposed data association techniques, using the YOLOv3 object detector, was performed in the referred labeled multi-class dataset.

A melhoria dos robôs sociais tem aumentado significativamente, tendo em vista um sistema robótico móvel "inteligente", que deve ser capaz de executar tarefas básicas, sem comprometer o ambiente humano. Portanto, o módulo de perceção tem de ser suficientemente robustos na deteção e rastreamento de objetos (rastreamento equivale à tradução portuguesa de "tracking"). Portanto, a proposta desta dissertação, pretende integrar um método de rastreamento de múltiplos objetos, num contexto de robótica móvel, focando-se em questões de eficiência e desempenho computacional, utilizando o detetor de objetos YOLOv3 para adquirir a localização de objetos na imagem.Esta dissertação apresenta um estudo e exploração dos métodos de rastreamento por deteção, o SORT e o Deep-SORT. Com o objetivo de reforçar a robustez da atribuição de objetos medidos a objetos rastreados, são introduzidas conjugações diferentes de métricas de similaridade, no módulo de associação de dados. Adicionalmente, para evitar a associação de objetos medidos com objetos rastreados de diferentes classes, é aplicada uma restrição baseada em classes de objetos. Estas técnicas propostas de associação de dados, foram incorporadas nos métodos SORT e Deep-SORT.O SORT, o Deep-SORT, e as técnicas de associação de dados propostas, foram avaliados nos dados de treino do MOT17 e no ISR Tracking Dataset (conjunto de dados etiquetado neste estudo). Foram realizados testes ao desempenho dos métodos em condições de taxa reduzida de imagens, evidenciando uma diminuição do desempenho. Contudo, os resultados experimentais obtidos sem utilizar o detetor de objetos, mostram uma melhoria do desempenho, ao formular o problema de associação com métricas de semelhança diferentes. Ao longo do desenvolvimento deste estudo, um conjunto de dados de ambientes multi-classe e de interiores, foi etiquetado com dados de rastreio, fornecendo condições úteis para validar a estrutura proposta. Consequentemente foi realizada uma avaliação geral dos métodos SORT, Deep-SORT e técnicas de associação propostas, utilizando o detetor de objetos YOLOv3, no referido conjunto de dados de rastreio multi-classe etiquetado.