Bayesian inference for artificial perception using OpenCL on FPGAs and GPUs

Abstract

Este projecto de dissertação aborda a implementação de um algoritmo de inferência Bayesiana em FPGAs e GPUs seguindo uma abordagem "top-down" e usando OpenCL. Este trabalho tem como foco em aplicações de percepção artificial para robótica. O objectivo é melhorar a eficiência energética de computações de inferência Bayesiana. O trabalho previamente desenvolvido na nossa universidade no âmbito de um projecto europeu seguiu uma abordagem "bottom-up" e desenvolveu uma "toolchain" capaz de ter circuitos personalizados para inferência Bayesiana em lógica reconfigurável. Estes tinham maior eficiência energética do que soluções implantadas tipicamente em "desktops", porém requeriam significativamente maior esforço em design. Neste trabalho, a ideia é usar ferramentas comerciais já disponíveis, nomeadamente OpenCL suportado actualmente pela Intel (antes pela a Altera), para explorar todo o espaço de design de modo a encontrar soluções de baixo custos energéticos. Para o fazer, é usado o mesmo problema de "benchmark" utilizado em trabalhos anteriores, o qual será testado em várias dimensões de modo a poder estudar os problemas de escalonamento. As principais métricas usadas em comparação são potência nominal, energia consumida, latência, e a precisão de resultados. Como esperado no início do trabalho, os resultados mostram uma solução intermédia em termos de eficiência energética quando comparado a trabalhos anteriores desenvolvidos no âmbito do projecto BAMBI, mas com ganhos em precisão, integração e na usabilidade.

This dissertation project addresses the implementation of Bayesian inference on FPGAs and GPUs, following a top-down approach and using OpenCL. The target application is artificial perception in robotics. The aim is to improve the power efficiency of Bayesian inference computations. Previous work at our university in the scope of an European project followed a bottom-up approach and developed a toolchain that enabled having custom circuits for Bayesian inference on reconfigurable logic. These had better power efficiency than desktop solutions, but require more design effort. In this work the idea is to use already available vendor tools, namely the OpenCL support from Intel (formerly Altera), to explore the design space in search of low power efficient solutions. To achieve this, the same benchmark problem used in previous works is going to be applied, tested in various dimensions in order to study scaling challenges. The main metrics used for comparison are nominal power, energy consumed, latency and result's precision. As expected in the beginning of the work the results show an intermediate solution in terms of power efficiency when compared with previous works developed in the context of the project BAMBI, but with gain in point precision, integration and usability.Also a comparison between single vs double floating point number program approaches was pursued in order to further explore the solutions space for Bayesian inference.The exact Bayesian inference implementation on OpenCL using GPU presents significantly less latency, total energy consumption, and development times, but considerable more nominal power required in relation to the FPGA approach. Also The OpenCL implementation (both GPU and FPGA) has a much higher result precision and lower design times in relation to the BM1 machine but with higher energetic costs and nominal power, as was initially predicted.