GPU-Aided Optical Flow Tracking Application for Arthroscopy Surgery

Abstract

A Visão por Computador, não é uma área de investigação recente. Alguns algoritmos datam de décadas atrás e têm sido intensamente escrutinados e analisados, estando actualmente presentes em várias áreas críticas, por exemplo, medicina, robótica, veículos autónomos, vigilância aérea, etc.Uma área específica que tem estado em desenvolvimento desde há muito tempo e que está agora a recuperar a atenção é a detecção e seguimento de objectos. Tais algoritmos foram estudados durante muito tempo, mas estiveram limitados pelo hardware existente, não permitindo implementações fiáveis e aplicáveis dos mesmos em cenários reais.Com a recente melhoria das capacidades de hardware, visível na lei de Moore, novos horizontes foram abertos e novas possibilidades, outrora consideradas inatingíveis, poderiam agora ser alcançadas. Com estas melhorias surgiram também novas estruturas e APIs que permitem a exploração de mais poder de processamento, nomeadamente o processamento paralelo em GPU. Como consequência disto, o interesse no seguimento de objectos voltou a surgir, especialmente em áreas médicas e cirúrgicas onde novos sistemas robóticos e de realidade aumentada podem tirar partido de tais algoritmos. Os algoritmos de seguimento são métodos matematicamente complexos utilizados para rastrear características através de uma sequência de imagens, exigindo assim hardware avançado para as processar em tempo real. Ainda assim, estes métodos podem ser utilizados como uma alternativa possível e viável aos métodos mais recentes, como \textit{Machine Learning} e a \textit{Deep Learning}, que requerem um maior processamento e ainda não são viáveis o suficiente, por exemplo, no caso de resoluções de imagem mais elevadas para aplicações em tempo real.Com isto em mente, o objectivo desta dissertação é explorar o conceito de rastreio de objectos e características, bem como comparar directamente diferentes métodos e algoritmos para alcançar o seguimento em tempo real. No final, uma implementação é também desenvolvida e descrita em detalhe utilizando alguns dos métodos e APIs mais recentes para abordar este problema e criar uma alternativa mais rápida aos métodos clássicos de rastreio.Esta dissertação apresenta ainda resultados obtidos com algoritmos mais antigos e mais recentes.Finalmente, é também apresentado um ponto de vista dos resultados obtidos, e são discutidas opções para optimizar a solução final.

Computer Vision is not a recent area of investigation. Some algorithms date from decades ago and have been intensely scrutinized and analyzed, being present nowadays in various critical areas, for example, medicine, robotics, autonomous vehicles, aerial surveillance, etc.One specific area that has been in development since long ago and is now regaining attention is object detection and tracking. Such algorithms have been studied for a long time, but have been limited by the existing hardware available, not allowing for reliable and usable implementations of these in real scenarios.With the recent improvement in hardware capabilities, visible in Moore´s law, new horizons have been opened and new possibilities once thought unachievable could now be attained. With these improvements also came new frameworks and APIs that allow the exploitation of more processing power, namely GPU parallel processing. As a consequence of this, the interest in object tracking has re-emerged, especially in medical and surgery areas where new robotic and augmented reality systems can take advantage of such algorithms. Tracking algorithms are mathematically complex methods used to track features through a sequence of images, thus requiring advanced hardware to process them in real-time. Even though, these methods can be used as a possible and viable alternative to more recent methods, such as machine learning and deep learning, which do require a greater load of processing and are yet not viable, for example, in the case of higher image resolutions on real-time applications.With this in mind, the objective of this dissertation is to explore the concept of object and feature tracking, as well as to directly compare different methods and algorithms to achieve real-time tracking. In the end, one implementation is also developed and described in detail using some of the most recent methods and APIs to approach this problem and create a faster alternative to the classical tracking methods.This dissertation also presents results obtained with both older and newer algorithms.Finally, a viewpoint of the obtained results is also presented, and options for optimizing the final solution are discussed.