A Machine Learning Approach for Performance Estimation of Netflix Video Streaming Based on the Analysis of Encrypted Network Traffic

Cilj ovoga rada bila je analiza mogućnosti procjene performansi videa platforme Netflix gledanih na pametnom telefonu pokretanom Android operacijskim sustavom, na temelju podataka dostupnih u šifriranom mrežnom prometu, koristeći algoritme strojnog učenja. Konkretno, gledani Netflix video zapisi klasificirani su u tri klase, ovisno o trajanju njihovog početnog kašnjenja. U tom smislu postavljeno je laboratorijsko okruženje za izgradnju skupa podataka za strojno učenje, tj. klasifikaciju. Izrađene su snimke ekrana pametnog telefona tijekom gledanja Netflix video zapisa koristeći aplikaciju za snimanje ekrana. Ukupno je izrađeno 300 snimki ekrana. Te snimke su zatim analizirane te su stvorene zapisničke datoteke s informacijama o trajanjima početnih kašnjenja pojedinih video zapisa. Na temelju zapisničkih datoteka provedena je analiza početnih kašnjenja. Nadalje, proveden je pokušaj dobivanja dodatnih informacija s aplikacijske razine, primarno informacije o razinama kvalitete gledanih video zapisa. Pokušaj se pokazao neuspješnim. Konačno, koristeći pomoćne skripte, generiran je završni skup značajki za algoritme strojnog učenja, i to za svaki gledani video. Konačni skup podataka činilo je 298 instanci. Za klasifikaciju se koristio Weka radni okvir za strojno učenje. Stvoreni su klasifikacijski modeli koristeći ukupno sedam klasifikacijskih algoritama. Za svaki pojedini model stvoren je podskup značajki. Rezultati klasifikacije pokazali su kako se klasa početnog kašnjenja videa usluge Netflix može relativno precizno predvidjeti. Primjerice, jednostavan algoritam OneR točno je klasificirao 71.9% instanci, dok je složeniji algoritam Bagging točno klasificirao 73.5% instanci. S obzirom na to da konačni skup podataka nije uključivao podatke o kvaliteti gledanih video zapisa, budući rad na ovu temu mogao bi se fokusirati na razvoj metode za dobivanje te informacije s aplikacijske razine. Nadalje, tijekom istraživanja u sklopu ovog rada nije uočena niti jedna pojava događaja zastajkivanja, pa bi se u budućem radu mogli pokušati izazvati ti događaji.The goal of this thesis was to analyze the ability to predict performance of Netflix video streaming on an Android smartphone device, based on data available from encrypted network traffic, using machine learning algorithms. Specifically, each Netflix video viewed in a streaming session was classified into three classes based on duration of initial delay of that video. To that end, a laboratory environment was set up to build a machine learning dataset to be used for classification. Screen recordings of Netflix playback sessions were made using a screen recording application on the smartphone. A total of 300 recordings were made. The recordings were then used to generate logs containing the information about durations of initial delay events. Based on the resulting logs, an analysis of initial delay durations was performed. Furthermore, an attempt was made to devise a method for extracting additional application level information from the Netflix network traffic, specifically information about the quality of each streamed video. The attempt turned out to be unsuccessful. Finally, a number of scripts were used to generate the final set of features for each streamed video, to be used in classification. The final machine learning dataset included 298 instances. Weka machine learning framework was used to perform classification. Models were built using seven different classification algorithms. For each model, a subset of features was selected. The results of the classification show that the initial delay class can be predicted relatively accurately. A simple OneR algorithm correctly classified 71.9% of instances, while a complex Bagging algorithm correctly classified 73.5% of instances. Because the dataset did not include information about video quality, future work could focus on devising a method to extract that information. Furthermore, no stalling events were encountered during the research for this thesis, so future work could also attempt to trigger those events