Client-Side Monitoring of Distributed Systems

Abstract

From critical systems to entertainment, most computer systems have become distributed. Compared to standalone applications, distributed systems are more complex, dificult to operate and maintain, thus increasing the probability for outages or other malfunctions. Properly monitoring the system is therefore even more important. However, recovering a complete image of the system is a herculean task for administrators, who often need to resort to a large plethora of tools. Despite all these tools, the person that many times identifies the degradation or the system outage is the one that is somehow disregarded in the monitoring chain - the client. Almost daily, we have examples in the news from companies that had outages or system degradation perceived by the final client with a direct impact on the companies' revenues and image. The lack of client-side monitoring and the opportunity to improve current monitoring mechanisms paved the way for the key research question in this thesis. We argue that the client has information on the distributed system that monitoring applications should use to improve performance and resilience. In this work, we aim to evaluate the limits of black-box client-side monitoring and to extend white-box with client information. Additionally, we are very interested to understand what kind of information does the system leak to the client. To evaluate this approach, we resorted to several experiments in distinct scenarios from three-tier web sites to microservice architectures, where we tried to identify performance issues from the client-side point-of-view. We used client profiling, machine learning techniques among other methods, to demonstrate that using client information may serve to improve the observability of a distributed system. Properly including client-side information proved to be an interesting and challenging research effort. We believe that our work contributed to advance the current state-ofart in distributed system monitoring. The client has viable information that eludes administrators and provides important insights on the system.

Desde os sistemas críticos ao entretenimento, a maioria dos sistemas computacionais tornou-se distribuída. Quando comparados a aplicações monolíticas, os sistemas distribu ídos são mais complexos, difíceis de operar e manter, aumentando assim a probabilidade de anomalias. A monitoria de um sistema distribuído é desta forma ainda mais importante. Todavia, obter uma imagem completa do sistema é uma tarefa árdua para os administradores, que frequentemente precisam de recorrer a uma grande variedade de ferramentas. Mesmo com a superabundância de ferramentas, a pessoa que muitas vezes identi ca a degradação ou a interrupção do sistema é a mesma que de alguma forma é desconsiderada no uxo de monitoria: o cliente. Quase diariamente, temos exemplos na comunicação social de empresas que tiveram interrupções ou degradação no serviço prestado percebido pelo cliente nal, com impacto direto nas receitas e na imagem dessas empresas. A falta de monitoria do ponto de vista do cliente e a oportunidade de melhorar a monitoria atual abriram o caminho para a questão chave de pesquisa nesta tese. Argumentamos que o cliente possui informação sobre o sistema distribuído que as ferramentas de monitora devem usar para melhorar o desempenho e resiliência. Neste trabalho pretendemos avaliar os limites de uma monitoria do lado do cliente de uma forma caixa-negra , e extender as soluções de caixa-branca com informação do cliente. Além disso, estamos também interessados em entender que tipo de informação é que o sistema escapa para o cliente. Para avaliar esta abordagem, recorremos a várias experiências em cenários distintos desde sites de três camadas até arquiteturas de micro serviços, onde tentamos identi- car problemas do ponto de vista do cliente. Usámos técnicas de criação de pro ling do ponto de vista do cliente, técnicas de Machine Learning, entre outros métodos, para demonstrar que o uso de informações do cliente pode servir para melhorar a observabilidade de um sistema distribuído. A inclusão de informações do cliente provou ser um tópico de pesquisa interessante e desa ador. Acreditamos que o nosso trabalho contribuiu para avançar o atual estado da arte de monitoria em sistemas distribuídos. O cliente possui informações viáveis que escapam ao controlo dos administradores e fornece conhecimento importante sobre o sistema.