Evaluating Distributed Machine Learning for Fog Computing loT scenarios : A Comparison Between Distributed and Cloud-based Training on Tensorflow

Dag för dag blir sakernas internet-enheter (IoT) en större del av vårt liv. För närvarande är dessa enheter starkt beroende av molntjänster vilket kan utgöra en integritetsrisk. Det allmänna syftet med denna rapport är att undersöka alternativ till molntjänster, ett ganska fascinerande alternativ är fog computing. Fog computing är en struktur som utnyttjar processorkraften hos enheter i utkanten av nätverket (lokala enheter) snarare än att helt förlita sig på molntjänster. Ett specifikt fall av denna struktur undersöks ytterligare som huvudsyftet i denna rapport vilket är distribuerad maskininlärning för IoT-enheter. Detta mål uppnås genom att besvara frågorna om vilka metoder/verktyg som finns tillgängliga för att åstadkomma det och hur väl fungerar de jämfört med molntjänster. Det finns tre huvudsteg i denna studie. Det första steget var informationsinsamling på två olika nivåer. Först på en grundläggande nivå där området för studien undersöks. Den andra nivån var mer specifik och handlade om att ytterligare samla information om tillgängliga verktyg för distribuering av maskininlärning och utvärdera dessa verktyg. Det andra steget var att implementera tester för att verifiera prestandan för varje verktyg vald baserat på den insamlade informationen. Det sista steget var att sammanfatta resultaten och dra slutsatser. Studien har visat att distribuerad maskininlärning fortfarande är för omogen för att ersätta molntjänster eftersom de befintliga verktygen inte är optimerade för IoT-enheter. Det bästa alternativet för tillfället är att hålla sig till molntjänster, men om lägre prestanda till viss del kan tolereras, så är vissa IoT-enheter kraftfulla nog att bearbeta maskininlärningsuppgiften självständigt. Distribuerad maskininlärning är fortfarande ett ganska nytt koncept, men det utvecklas snabbt, förhoppningsvis når denna utveckling snart IoT-enheter.By day, internet of things (IoT) devices is becoming a bigger part of our life. Currently these devices are heavily dependent on cloud computing which can be a privacy risk. The general aim of this report is to investigate alternatives to cloud computing, a quite fascinating alternative is fog computing. Fog computing is a structure that utilizes the processing power of devices at the edge of the network (local devices) rather than fully relying on cloud computing. A specific case of this structure is further investigated as the main objective of this report which is distributed machine learning for IoT devices. This objective is achieved by answering the questions of what methods/tools are available to accomplish that and how well do they function in comparison to cloud computing. There are three main stages of this study. The first stage was information gathering on two different levels. First on a basic level exploring the field. The second one was to further gather information about available tools for distributing machine learning and evaluate them. The second stage was implementing tests to verify the performance of each approach/tool chosen from the information gathered. The last stage was to summarize the results and reach to conclusions. The study has shown that distributed machine learning is still too immature to replace cloud computing since the existing tools isn’t optimized for this use case. The best option for now is to stick to cloud computing, but if lower performance to some extent can be tolerated, then some IoT devices is powerful enough to process the machine learning task independently. Distributed machine learning is still quite a new concept but it’s growing fast, hoping this growth soon expands to support IoT devices