Classifying Application Flows and Intrusion Detection in Internet Traffic

Le sujet de la classification de trafic réseau est d’une grande importance pour la planification de réseau efficace, la gestion de trafic à base de règles, la gestion de priorité d’applications et le contrôle de sécurité. Bien qu’il ait reçu une attention considérable dans le milieu de la recherche, ce thème laisse encore de nombreuses questions en suspens comme, par exemple, les méthodes de classification des flux de trafics chiffrés. Cette thèse est composée de quatre parties. La première présente quelques aspects théoriques liés à la classification de trafic et à la détection d’intrusion. Les trois parties suivantes traitent des problèmes spécifiques de classification et proposent des solutions précises.Dans la deuxième partie, nous proposons une méthode d’échantillonnage précise pour détecter les attaques de type ”SYN flooding”et ”portscan”. Le système examine les segments TCP pour trouver au moins un des multiples segments ACK provenant du serveur. La méthode est simple et évolutive, car elle permet d’obtenir une bonne détection avec un taux de faux positif proche de zéro, même pour des taux d’échantillonnage très faibles. Nos simulations basées sur des traces montrent que l’efficacité du système proposé repose uniquement sur le taux d’échantillonnage, indépendamment de la méthode d’échantillonnage. Dans la troisième partie, nous considérons le problème de la détection et de la classification du trafic de Skype et de ses flux de services tels que les appels vocaux,SkypeOut, les vidéo-conférences, les messages instantanés ou le téléchargement de fichiers. Nous proposons une méthode de classification pour le trafic Skype chiffré basé sur le protocole d’identification statistique (SPID) qui analyse les valeurs statistiques de certains attributs du trafic réseau. Nous avons évalué notre méthode sur un ensemble de données montrant d’excellentes performances en termes de précision et de rappel. La dernière partie définit un cadre fondé sur deux méthodes complémentaires pour la classification des flux applicatifs chiffrés avec TLS/SSL.La première modélise des états de session TLS/SSL par une chaîne de Markov homogène d’ordre 1. Les paramètres du modèle de Markov pour chaque application considérée diffèrent beaucoup, ce qui est le fondement de la discrimination entre les applications. La seconde méthode de classification estime l’écart d’horodatage du message Server Hello du protocole TLS/SSL et l’instant d’arrivée du paquet. Elle améliore la précision de classification des applications et permet l’identification vii efficace des flux Skype. Nous combinons les méthodes en utilisant une Classification Naive Bayésienne (NBC). Nous validons la proposition avec des expérimentations sur trois séries de données récentes. Nous appliquons nos méthodes à la classification de sept applications populaires utilisant TLS/SSL pour la sécurité. Les résultats montrent une très bonne performance.The subject of traffic classification is of great importance for effective networkplanning, policy-based traffic management, application prioritization, and securitycontrol. Although it has received substantial attention in the research communitythere are still many unresolved issues, for example how to classify encrypted trafficflows. This thesis is composed of four parts. The first part presents some theoreticalaspects related to traffic classification and intrusion detection, while in the followingthree parts we tackle specific classification problems and propose accurate solutions.In the second part, we propose an accurate sampling scheme for detecting SYNflooding attacks as well as TCP portscan activity. The scheme examines TCPsegments to find at least one of multiple ACK segments coming from the server.The method is simple and scalable, because it achieves a good detection with aFalse Positive Rate close to zero even for very low sampling rates. Our trace-basedsimulations show that the effectiveness of the proposed scheme only relies on thesampling rate regardless of the sampling method.In the third part, we consider the problem of detecting Skype traffic and classi-fying Skype service flows such as voice calls, skypeOut, video conferences, chat, fileupload and download. We propose a classification method for Skype encrypted traf-fic based on the Statistical Protocol IDentification (SPID) that analyzes statisticalvalues of some traffic attributes. We have evaluated our method on a representativedataset to show excellent performance in terms of Precision and Recall.The last part defines a framework based on two complementary methods for clas-sifying application flows encrypted with TLS/SSL. The first one models TLS/SSLsession states as a first-order homogeneous Markov chain. The parameters of theMarkov models for each considered application differ a lot, which is the basis foraccurate discrimination between applications. The second classifier considers thedeviation between the timestamp in the TLS/SSL Server Hello message and thepacket arrival time. It improves the accuracy of application classification and al-lows efficient identification of Skype flows. We combine the methods using a NaiveBayes Classifier (NBC).We validate the framework with experiments on three recentdatasets—we apply our methods to the classification of seven popular applicationsthat use TLS/SSL for security. The results show a very good performance