Docker Orchestration for Scalable Tasks and Services

Distributed services and tasks, i.e. large-scale data processing (Big Data), in the cloud became popular in recent years. With it came the possibility, to scale infrastructure according to the current demand, which promises to reduce costs. However, running and maintaining a company internal cloud, which is extended to one or more public clouds (hybrid cloud) is a complex challenge. In the recent years, Docker containers became very popular with the promise to solve compatibility issues in hybrid clouds. Packaging software with their dependencies inside Docker containers, promises less incompatibility issues. Combining hybrid clouds and Docker Containers, leads to a more cost effective, reliable and scalable data processing in the cloud. The problem solved in this thesis is: how to manage hybrid clouds, which run scalable distributed tasks or services. Fluctuating demand requires adding or removing computers from the current infrastructure, and changes dependencies, which are necessary to execute tasks or services. The challenge is, to provide all dependencies for a reliable execution of tasks or services. Furthermore, distributed tasks and services need to have the ability to communicate even on a hybrid infrastructure. The approach of this thesis is, to prototype three different Docker integrations for Activeeon’s ProActive, a hybrid cloud middleware. Further, each of the prototypes is evaluated, and one prototype is improved to an early stage product. The software-defined networks weave and flannel are benchmarked, in their impact on the network performance. How Docker containers affect the CPU, memory and disk performance is analyzed through literature review. Finally, the distributed large-scale data processing software Apache Flink is benchmarked inside containers, to measure the impact of containerizing a distributed large-scale data processing software. The results of this thesis show that Docker container orchestration is feasible with ProActive and software defined networks (weave and flannel). While both show impact on the pure network performance, the Apache Flink benchmark did not reveal any impact of using containers and software defined networks. Therefore, Docker containers together with orchestration through ProActive are able to form a large-scale data processing platform.Distributed Services eller Tasks, exempelvis storskalig data (Big data), i moln-lösningar har blivit populärt under de senaste åren. Med detta följer möjligheten att skala om infrastrukturen till den rådande efterfrågan, med syfte att minska kostnader. Men att köra och underhålla ett företags interna moln, som är kopplat till ett eller fler offentliga moln (Hybrid-moln) är en komplex utmaning. Under de senaste åren har Dockers blivit mycket populära, detta med syfte att lösa kompabilitets problem i hybrid-moln. Att paketera mjukvara med dess delar inuti en Docker medför färre kompabilitetsproblem. Att kombinera hybrid-moln och Dockers leder till en mer kostnadseffektiv, pålitlig och skalbar datahantering i molnet. Problemet som har lösts i denna uppsatts är: Hur kan man hantera hybrid-moln som kör Distributed Services och Tasks. Varierande efterfrågan kräver att man lägger till eller tar bort datorer från den nuvarande nätverk, samt att man ändrar beroendeförhållanden vilka är nödvändiga för att utföra uppgifter eller service. Utmaningen ligger i att tillhandahålla alla delar för ett säkert genomförande av uppgiften eller servicen. Vidare krävs även att Distributed Services och Tasks har möjlighet att kommunicera även om det är i en hybrid-molns lösning. Syftet med denna uppsats är att skapa tre olika prototyper av Docker-behållare för Activeeon´s ProActive, en hybrid-molns middleware. Vidare är varje prototyp utvärderad, en av prototyperna är även vidareutvecklad till ett tidigt produktstadie. Det mjukvarudefinerade nätverken weave och flannel är benchmarkade i deras påverkan på nätverket. Hur Dockers påverkar CPU:n, minnet och diskeffekten är analyserat i en litteraturstudie. Slutligen är mjukvaran Apache Flink Benchmarkad inuti Dockers-behållarna, detta för att kunna mäta effekten av en paketerad och distribuerad storskalig datahanterings mjukvara. Resultatet av denna studie visar att Dockers-behållarens samansättning är passande med ProActive och mjukvarunätverk (Weave och Flannel). Båda visar påverkan på den rena nätverkseffektiviteten men Apache Flink benchmarkingen visade inte någon påverkan av att använda behållare och mjukvarudefinerade nätverk. Därav ger samansättning av Dockers-behållare genom ProActive möjligheten att skapa en plattform att processa storskalig data