A Scalable Monitoring Platform for Cloud Environments

Dissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e TecnologiaA Cloud é uma tecnologia emergente e já amplamente usada emquase todo o tipo de sistemas. Esta tecnologia pode usar containers para fazer a gestão dos serviços e recursos computacionaisda Cloud mais fácil. Devido à sua adopção em cenários críticospara o negócio, problemas relacionados com a confiabilidade,segurança e privacidade na Cloud aumentam. Em sistemas dinâmicos como a Cloud, torna-se necessário que estes sejam monitorizados, avaliados e melhorados continuamente, mas, atualmente, não existem soluções eficientes para este efeito paraambientes tão dinâmicos quanto a Cloud. O ATMOSPHERE éum projeto internacional com o objetivo de monitorizar e melhorar a confiança das applicações em CloudO objetivo deste trabalho é o desenho e implementação de umaplataforma de monitorização escalável, que é parte do projetoATMOSPHERE. Esta plataforma, consistem e três componentes: oTMA_Monitor, que é responsável pela verificação do formato dosdados recolhidos; FaultTolerantQueue, que é responsável porreencaminhar dados; e o TMA_Knowledge, que armazena toda ainformação válida recolhida. De maneira a ser facilmente implmentável e escalável, esta plataforma é desenhada para serimplementada em containers. Para encontrar as melhores tecnologias para usar na implementação desta plataforma, foramanalisadas as ferramentas mais populares para virtualizadores egestores de containers, para a gestão e encaminhamento de mensagens e para aplicações API REST implementadas em Python.Depois da implementação, para validar a plataforma, testes estruturais e testes de desempenho e escalabilidade foram executados. Os resultados mostram que a plataforma desenvolvidafunciona bem mesmo sob condições de stress.Cloud is an emerging technology and already widely used in almost every type of system. This technology can use containersto make the management of services and computational resources of Cloud easier. Due to its adoption in business-critical scenarios, problems related to the reliability, security and privacyin Cloud arise. In such dynamic systems, it becomes necessaryto have continuous monitoring, assessment and improvement,but currently there are no efficient solutions for this effect forenvironments as dynamic as the Cloud. ATMOSPHERE is aninternational project with the objective of monitoring and improving the trustworthiness of Cloud applications.The goal of this work is the design and implementation of a scalable monitoring platform that is part of ATMOSPHERE project.This platform consists of three key components: TMA_Monitor,which is responsible for checking the format of the data collected; a FaultTolerantQueue, which is responsible for forwardingthe data; and TMA_Knowledge, which stores all valid information collected. In order to be easy to deploy and scale, thisplatform is designed to be deployed in containers. To find thebest technologies to use in the implementation of this platform,we analyzed the most popular tools for container building andmanagement, for fault tolerant message queuing and forwarding and for Python frameworks for API REST applications.After the platform development, in order to validate this platform, structural tests, performance tests and scalability testswere performed. The results of the tests showed that platformdeveloped works well even under stress conditions.H202