Application-specific Soft-GPGPU on Reconfigurable Substrates

Abstract

Soft-general-purpose graphics processing units (GPGPUs) are the implementation of a general-purpose GPU (GPGPU) on a field-programmable gate array (FPGA). They are set out to combine the processing power and programmability of graphics processing units (GPUs), using a framework such as Open Computing Language (OpenCL) or Compute Unified Device Architecture (CUDA), with the flexibility given by the FPGA. Due to current FPGA resource limits and design complexity, implementing a GPGPU core with the full parallel capability of a commercially available device has not yet been feasible. Hence, current implementations either focus in limiting the functionalities of an intellectual property (IP) core to fit in the FPGA, or in developing an entirely new processor with a custom instruction set architecture (ISA). However, neither of these take into consideration the application-specific intrinsic requirements.Hence, in this thesis, we propose application-specific soft-GPGPU cores optimizedfor a given application, in order to reduce the mapped resources to the actual application requirements, while retaining the ability to change the problem size. The proposed application-specific soft-GPGPU is based on MIAOW, a state-of-the-art soft-GPGPU compatible with AMD’s Southern Islands ISA. However, several enhancements are proposed, not only to provide additional performance gains, but also to correct several implementation errors affecting the execution of the supported instructions.Furthermore, the decrease in resource usage leaves enough room to increase the system’s parallel abilities. The proposed solution is scalable either in terms of vector ALU (VALU) units, or number GPGPU cores, as FPGA technology progresses to accommodate more resources.Considering the above, the proposed objective is to provide future embedded system designers with dedicated, ready to use, and highly optimized GPU cores. Therefore, the main focus of this work is in the development of application-specific GPGPU cores, providing not only these but also the means so that others can create their own application-specific soft-GPUs. Furthermore, the following objectives are proposed:• Develop application-specific GPGPU cores;• Improve state-of-the-art GPGPU cores, such as MIAOW, by increasing functionalityand throughput performance;• Develop a framework to test the synthesized instruction set architecture (ISA) implementation;• Be compatible with state-of-the-art programming languages, such as OpenCL orCUDA, in order to easily allow offloading application computational kernels to the soft-GPGPU;• Develop a framework for easily designing application-specific GPGPU cores;• Show the area and power benefits of allowing an adaptation of the computing resources to the application characteristics.

Os soft-general-purpose graphics processing units (GPGPUs) consistem na implementação de uma general-purpose GPU (GPGPU) numa field-programmable gate array (FPGA). O seu propósito é aliar o poder de processamento e capacidade de programação de uma graphics processing unit (GPU), através de uma plataforma como Open Computing Language (OpenCL) ou Compute Unified Device Architecture (CUDA), com a flexibilidade dada pela FPGA. No entanto, devido aos recursos limitados das FPGAs e à complexidade do projeto de hardware, a implementação de um núcleo GPGPU com a capacidade total de computação paralela de um dispositivo comercial ainda não foi possível. As implementações atuais alternam entre reduzir as funcionalidades do núcleo, até ser sintetizável, e no desenvolvimento de um processador totalmente novo com um conjunto de instruções feito à medida.Nesta tese, propomos a criação de soft-GPGPUs de aplicação específica, a saber, núcleos de processamento otimizados para uma aplicação específica, que reduzem a utilização de recursos na placa, mantendo a capacidade de alterar a dimensão do problema sem a necessidade de re-sintetizar o projeto de hardware. Obtendo o núcleo simplificado, as capacidades de paralelismo, originalmente inviáveis, podem ser aproveitadas.Para alcançar o objetivo proposto, é feita uma pesquisa das atuais soft-GPGPUs que expõe as suas funcionalidades e descreve as peculiaridades de cada arquitetura. De seguida, a plataforma base que irá dar origem aos soft-GPGPUs de aplicação específica é selecionada e testada. Um perfil temporal é então elaborado, e são propostas melhorias com o intuito de aumentar tanto o desempenho como as funcionalidades, posteriormente validadas.Após o desenvolvimento dos soft-GPGPUs de aplicação específica verifica-se que existe uma redução de 18% na potência requerida pelo sistema, quando comparado com o sistema base. Além disso, a diminuição no uso de recursos deixa espaço suficiente para aumentar o paralelismo do sistema. A solução que se propõe tem escalabilidade quer ao nível das unidades aritméticas vetoriais, quer no número de núcleos que podem estar em simultâneo na placa, à medida que o número de recursos nas FPGA aumenta. Considerando o que foi acima descrito, o principal objectivo deste trabalho é prover núcleos de processamento dedicados, prontos a usar, e altamente otimizados, para futuros desenvolvedores de hardware.Desta forma, este trabalho foca-se na criação de núcleos de aplicação específica, detalhando a sua criação.