Exploiting Quantization in Convolutional Neural Networks for Polyp Detection on GPUs

Abstract

O cancro colorretal (CRC) é um dos cancros mais mortíferos à escala mundial, com cerca de 881 000 mortes em 2018, e a incidência deste tipo de cancro é maior em países desenvolvidos devido aos hábitos alimentares modernos. A norma de referência para rastreamento de cancro colorretal é a colonoscopia, com estudos a concluir que a colonoscopias reduzem significativamente a mortalidade por CRC.Demonstrou-se na literatura que sistemas CAD podem melhorar a deteção de adenomas. Particularmente, modelos de AI Deep Learning demonstram resultados promissores ajudando a comunidade médica durante colonoscopias em tempo real reduzindo o número de lesões que ficaram por detetar durante uma colonoscopia. Devido à natureza em tempo real das colonoscopias, a inferência das frames tem que ocorrer também em tempo real.Neste trabalho a CNN YOLOv4 é utilizada para realizar deteção de pólipos. Diferentes métodos de regularização, pré-processamento de dados e data augmentation foram testados. De modo a aumentar a velocidade de inferência do modelo para atingir resultados em tempo-real, e para tornar o modelo mais pequeno, este foi lançado no NVIDIA TensoRT, que executa quantização e otimização do modelo. Para treino, teste e validação do modelo foram usados datasets disponíveis para uso público facilitando a comparação com outros estudos. Para avaliar a velocidade de inferência do modelo, um dataset público contendo vídeos foi utilizado.Valores de 0.82 para mAP, 0.82 para precisão e 0.75 para recall, foram obtidos para o dataset de uso público, Etis-Larib, e foram obtidos valores de 0.92 para mAP, 0.89 para precisão e 0.86 para recall, no CVC-ClinicDB. Uma GPU NVIDIA RTX 2080TI foi utilizada e uma velocidade de 100 FPS foi obtida em vídeos do Colonoscopic Dataset.Para a versão quantizada da implementação a velocidade de inferência foi de 165 FPS causando um ligeiro decréscimo das métricas de avaliação de accuracy. Um decréscimo de 2% em mAP, 6% em precision e 3% em recall foi observado no Etis-Larib dataset. Para o CVC-ClinicDB um decréscimo de 1% em mAP foi registado, mantendo-se o valor das restantes métricas.

Colorectal cancer (CRC) is one of the most deadly cancers worldwide, with about 881 000 deaths in 2018, and with developed countries possessing a higher incidence ofthis type of cancer due to modern dietary habits. The gold standard for colorectal cancerscreening is the colonoscopy, with studies concluding that colonoscopies significantlyreduce mortality from CRC. It has been shown in the literature that computer-aided detection (CAD) systems can improve adenoma detection. In particular, artificial intelligence (AI) Deep Learning models have shown promising results helping physicians during real-time colonoscopies by reducing the number of missed lesions during the colonoscopy. Due to the real-time constraints of colonoscopies, the inference of the frames must happen in real-time. In this work we use the You Only Look Once (YOLO)v4 convolutional neural net-work (CNN) to perform polyp detection. Different methods of regularization, data pre-processing, and data augmentation were tested. To further increase the inference speed of the model to achieve real-time performance and make the model smaller, we deployed the model on NVIDIA TensorRT, which quantizes and optimizes the model.We used the publicly available datasets to train, test, and validate our model to facilitate comparison to other studies. To evaluate the inference speed of the model, a publicly available dataset containing videos was used.We achieved values of 0.82 for mAP, 0.82 for precision, and 0.75 for recall in the publicly available dataset Etis-Larib, and values of 0.92 for mAP, 0.89 for precision and 0.86 for recall using CVC-ClinicDB dataset. An NVIDIA RTX 2080TI GPU was used, and a speed of approximately 100 FPS was achieved in videos of the Colonoscopic dataset.For the quantized version of the implementation, the inference speed was increased to approximately 165 FPS at the cost of a slight decrease in the accuracy metrics. A decrease of 2% in mAP, 6% in precision, and 3% in recall was observed for Etis-Larib dataset. For the CVC-ClinicDB, a decrease of 1% in mAP was registered while the remaining metrics remained the same.