IoT Edge Computing Neural Networks on Reconfigurable Logic

Abstract

Nos últimos anos, temos visto a expanção da inteligência artificial em diferentes áreas e dispositivos. No entanto, no ecossistema IoT, temos uma tendência constante a usar a computação na nuvem para armazenar e processar as vastas quantidades de dados geradas por estes dispositivos, devido aos recursos locais limitados. Esta dissertação propõe a implementa çãao de dispositivos IoT inteligentes capazes de fornecer informações específicas a partir de dados produzidos a partir de algum sensor, por exemplo uma câmara ou microfone, em vez dos próprios dados brutos. O foco será o processamento de imagens usando CNNs. Essa abordagem é claramente distinta das tendências atuais em dispositivos IoT que usam computação na nuvem para processar os dados produzidos. Pretendemos uma viragem no paradigma estabelecido e procuramos uma abordagem deedge computing. Como o foco ser ão dispositivos pequenos e simples, precisamos de uma solução de baixa potência para o cálculo da CNN. Os dispositivos SoC ganharam popularidade devido à sua heterogeneidade. Este trabalho usará um sistema que combina uma unidade de processamento ARM em conjunto com a FPGA, mantendo baixa potência e aproveitando a FPGA para obter um alto desempenho. O HADDOC2 será usado como uma ferramenta que converterá o código CNN em VHDL para ser sintetizado na FPGA, enquanto no ARM haverá um sistema que irá gerir todo o processo usando pontes de comunicação com a FPGA e protocolos de comunicação IoT para enviar as informações processadas. No fim é obtido um sistema com uma CNN implementada na FPGA o usando o HPS como gestor de todo o processo e que se comunica com o exterior através do MQTT.

In recent years we have seen the emergence of AI in wider application areas and in more devices. However, in the IoT ecosystem there is the tendency to use cloud computing to store and process the vast amounts of information generated by these devices, due to the limited local resources. This dissertation proposes the implementation of smart IoT devices able to provide specific information from raw data produced from some sensor, e.g. a camera or microphone, instead of the raw data itself. The focus will be embedded image processing using Convolutional Neuronal Networks (CNN). This approach is clearly distinct from the current trends in IoT devices that use cloud computing to process the collected data. We intend a twist on the established paradigm and pursue an edge computing approach. Since we are targeting small and simple devices, we need some low power solution for the CNN computation. SoC devices have gained popularity due to their heterogeneity. In our work we use a system that combines an ARM processing unit in conjunction with FPGA, while maintaining low power, taking advantage of FPGA to achieve high performance.HADDOC2 will be used as a tool that will convert CNN to VHDL code to be synthesized to FPGA, while in ARM there will be a system that will manage the entire process using IoT communication protocols to send the processed information. A system with a CNN implemented in the FPGA is obtained using HPS as the manager of the entire process and then this system communicates with the outside through MQTT.