Benchmarking de Plataformas Blockchain

Abstract

Quando se trata de perceber qual a plataforma blockchain que melhor se adequa às necessidades existentes, é necessário avaliar o seu desempenho em diversos ambientes que possam surgir. Esta avaliação pode ser conseguida recorrendo a ferramentas de testes de benchmark que consigam estudar estas plataformas. Ao longo deste documento é realizado um estudo acerca da teoria subjacente à tecnologia blockchain e das várias plataformas que a implementam. Foram também recolhidos e analisados estudos existentes na área do benchmarking de plataformas blockchain que foram fundamentais tanto para a escolha da ferramenta de benchmark a utilizar como para perceber como era realizado o benchmark em si. Com o propósito de proceder à avaliação do desempenho das plataformas blockchain, neste trabalho, foi implementado um sistema que conseguisse analisar as plataformas Hyperledger Fabric e FISCO BCOS. Este sistema tem como base a ferramenta Hyperledger Caliper. Dos testes executados foi possível recolher métricas relativas à latência, throughput, send rate, tempo de execução, consumo de CPU e de memória RAM e o número de transações bem sucedidas. Analisando os resultados obtidos, é possível concluir, de uma forma geral, que os comportamentos das plataformas blockchain estudadas são muito distintos. Sendo que a Hyperledger Fabric apresenta um desempenho mais constante e estável que o da FISCO BCOS. É verificado que o tipo de operação que é realizada, o uso de mecanismo de consenso e a utilização de diferentes bases de dados são factores que influenciam diretamente a performance da plataforma Fabric.

When it comes to understanding which blockchain platforms is best suited to existing needs, it is necessary to evaluate its performance in different environments that may arise. This assessment can be achieved using benchmark testing tools that can study these platforms. Throughout this document, a study is carried out on the theory underlying blockchain technology and the various platforms that implement it. Existing studies in the area of benchmarking of blockchain platforms were also collected and analyzed, which were fundamental, both for the choice of the benchmark tool to be used, and for understanding how the benchmark itself was carried out. In order to assess the performance of the blockchain platforms, in this work, a system was implemented that could analyze the Hyperledger Fabric and FISCO BCOS platforms. This system is based on the Hyperledger Caliper tool. From the tests performed, it was possible to collect metrics related to latency, throughput, send rate, execution time, CPU and RAM consumption and the number of successful transactions. Analyzing the results obtained, it is possible to conclude, in general, that the behaviors of the studied blockchain platforms are very different. Hyperledger Fabric has a more constant and stable performance than FISCO BCOS. It is verified that the type of operation that is performed, the use of a consensus mechanism and the use of different databases are factors that directly influence the performance of the Fabric platform.