Machine Learning for Multi-Source Analysis

Internett fortsetter å utvide seg, og brukere forventer stadig bedre ytelse ettersom nye og bedre digitale tjenester blir tilgjengelig. Internettleverandører overvåker nettverksinfrastrukturen sin nøye for å opprettholde stabile og pålitelige nettverk. I et forsøk på å forbedre påliteligheten ytterligere, har et samarbeidsprosjekt kalt ”Dragonlab”, der Uninett er en bidragsyter, blitt initiert for å måle ende-til-ende kvaliteten på nettverkstrafikk. Målenodene i nettverket genererer enorme mengder overvåkingslogger. Ved å analysere disse dataene med tradisjonelle metoder, har Uninett avdekket en opphopning av mikrobrudd som kan indikere nettverksproblemer. Denne oppgaven undersøker i hvilken grad maskinlæring (ML) kan resultere i verdifull informasjon for å bidra i Uninetts overvåkingssystem. Oppgaven følger en designvitenskapelig forskningsmetodikk, der vi har delt iterasjonssyklusene inn i flere tilnærminger med ulike metoder og implementasjoner. Tilnærmingene til oppgaven består av å undersøke Uninetts innsamlede og analyserte data for å få innsyn i de nåværende løsningene i systemet. Vi bruker Kibanas ML-baserte anomaliedeteksjon for å finne uregelmessigheter i den målte nettverksforsinkelsen, og årsaksanalyserer disse funnene. De andre tilnærmingene inspiserer flere ressurser manuelt mens muligheten for ML blir evaluert. Resultatene viser lite informasjon av interesse i datasettene og lavt potensial for ML. De fleste beregningene i datasettene stammer fra én enkel måling, pakkeforsinkelse, og bidrar ikke med noe kontekst til observerte avvik. Uninetts overvåkingssystem, per i dag, er primært passende for statistisk analyse og terskelmetoder for å oppdage problemer. Vi fortsetter derfor med en statistisk analysetilnærming og oppdager korrelasjon mellom strømmer av pakker på forskjellige ruter. Disse resultatene indikerer at uønskede hendelser gjenspeiles på flere deler av infrastrukturen. Oppdagelsen kan brukes i kombinasjon med andre kilder for å fastslå årsakene i fremtiden. Konklusjonen anser ML som ikke lønnsomt for Uninett på et nåværende tidspunkt. ML vil innføre unødvendig kompleksitet og vil kreve ekspertise for å utvikle og vedlikeholde. Vi foreslår å utvide deres eksisterende analyse ved å kombinere flere ulike datasett. I tillegg kan de ta markere seg enkelte tilfeller med kjente årsaker. Det anbefales sterkt å forbedre loggformateringen de bruker i dag, samt bryte ned loggene i mindre enkeltstående komponenter. De vil da ha lett tilgjengelige og dynamiske ressurser klare for ulike analysemetoder i fremtiden. Hvis de klarer å kombinere flere ulike informasjonskilder, kan ML revurderes