USING MACHINE LEARNING (ML) FOR ANOMALY DETECTION OVER TRAFFIC PRESENT IN SERVICE MESH ARQUITECTURES

Abstract

The migration towards cloud-native applications has been increasing in the lastyears. The new generation of these applications tends to be more distributed, taking advantage of components running on the edge/cloud which brings a numberof challenges, including their security. From a network standpoint, the high number of components and their complex communications difficult the process of detecting and mitigating cyber-attacks. To mitigate this problem, several securitysystems enabled with Artificial Intelligence (AI) components have been recentlyproposed in the literature.This work aims to develop an AI component for anomaly detection as part ofthe design and development of a Holistic Security and Privacy Framework conducted in the context of 5G-EPICENTRE European Project. This framework wasdesigned to automate and intelligently detect and mitigate anomalies in cloudnative applications following a service-mesh architecture.To achieve this aim, several steps were taken. First, initial research has been conducted on several research topics such as Cloud-Native and micro-service orchestration, service mesh architectures, network security and network anomalydetection using AI techniques. In particular, different approaches were reviewed,namely ML and Deep Learning (DL) ones. Second, based on such an initialrelated work survey, several possible candidates were chosen for being implemented. Third, the requirements of the proposed approach were elicited andmultiple use-cases were defined for use as part of the evaluation of each of thecandidate techniques. Fourth, the methodology of the proposed approach waspresented in detail, including it’s several phases: the design, the implementation,the experimentation and the integration. Fifth, the selected approaches (SupportVector Machine (SVM), Random Forest, Convolutional Neural Network (CNN)and k-means) were implemented, trained and tested. Sixth, the approaches withbetter performance during the experimentation phase were implemented into thedetection module of the security framework. Seventh, the correct behaviour ofthe implemented approaches was validated, namely through the use of a GraphicUser Interface (GUI).The implemented approaches with better performances and that evolve to theimplementation phase were based on a Random Forest classifier and on a CNN,presenting these two approaches performance values (during the experimentation phase) near the maximum values for each metric, for all of the considereddatasets.

A migração para aplicações que retiram vantagem dos serviços em cloud temvindo a aumentar nos últimos anos. Esta nova geração de aplicações tende aser mais distribuída, utilizando componentes que executam no edge o que trazuma série de desafios, nomeadamente, ao nível da segurança. Do ponto de vistade rede, o alto número de componentes e suas complexas comunicações dificultam o processo de detecção e mitigação de ataques cibernéticos. Para mitigareste problema, vários sistemas de segurança tem vindo a ser propostos na literatura, onde a maioria utiliza no processo de deteção. Este trabalho visa o desenvolvimento de um componente de para deteção de anomalias em tráfego derede como parte do processo de design e desenvolvimento de uma frameworkde segurança desenvolvida no contexto do projeto Europeu 5G-EPICENTRE. Talframework foi idealizada para automatizar o processo de deteção e mitigação deanomalias de forma inteligente em aplicativos adaptados para serem executadossob micro-serviços.Para atingir esse objetivo, várias etapas foram percorridas. Primeiro, foi efetuada uma pesquisa inicial sobre vários tópicos, nomeadamente, Cloud-Native eorquestração de micros-serviços, arquiteturas de micros-serviços, segurança emredes e deteção de anomalias de rede usando técnicas de . Em particular, foramanalisadas diferentes abordagens, sobretudo focadas em técnicas de ML e DL.Em segundo lugar, com base na pesquisa inicial, foram escolhidos vários possíveis candidatos para serem implementados. De seguida, de forma conjunta,foram definidos os requisitos e os casos de uso que a framework de segurançadeve verificar. Em quarto lugar, foi definida a metodologia do trabalho a realizar,onde foram identificadas quatro fases principais: o planeamento, a implementação, a validação e teste e, por fim, a integração. De seguida, as abordagensselecionadas (SVM, Random Forest, CNN e k-means) foram implementadas e asua performance foi avaliada. Em sexto lugar, as abordagens com melhor desempenho durante a fase de experimentação transacionaram para o módulo dedetecção da framework de segurança. Por fim, foi validado o correto comportamento das abordagens implementadas, nomeadamente através da utilização deuma aplicação visual.As abordagens implementadas com melhor desempenho e que transacionarampara a fase de implementação foram baseadas num classificador Random Forest e numa rede neuronal (CNN), apresentando ambas as abordagens valores dedesempenho (durante a fase de experimentação) próximos aos valores máximospara cada métrica, para todos os conjuntos de dados considerados.