Detection and mitigation of worms into the core network : application to the Peer-to-Peer networks

L'Internet et ses utilisateurs font quotidiennement l'objet d'attaques à l'aide de logiciels malveillants. Les vers, qui font partie de ces logiciels, se distinguent des autres moyens d'attaque par leur propagation automatique, qui les rend potentiellement dangereux. Pour faciliter leur propagation et la rendre plus rapide, les vers peuvent, entre autres, s'attaquer aux applications les plus prisées par les utilisateurs. La généralisation de l'utilisation des réseaux Pair-à-Pair par les internautes fait de ces réseaux une cible parfaite pour des vers appelés "vers Pair-à-Pair". Ces vers, et en particulier ceux d'entre eux qui sont passifs, sont caractérisés par leur furtivité. En effet, ils ne génèrent aucun trafic suspect, ce qui rend leur détection dans le réseau difficile. Le but de cette thèse est de proposer une solution efficace contre les vers Pair-à-Pair passifs, afin de sécuriser les réseaux Pair-à-Pair, qui commencent à être utilisés pour distribuer du contenu légal, comme la vidéo à la demande. Ainsi, nous proposons une architecture et des algorithmes pour détecter les vers Pair-à-Pair passifs dans le réseau. Nous évaluons nos algorithmes dans un simulateur que nous avons développé, ainsi qu'à l'aide d'une étude analytique. Nous nous intéressons ensuite à la mitigation des vers détectés dans le réseau.The Internet and its users are daily the object of attacks of malware. Among them, we can find the worms, which distinguish themselves from the other attacks by their automatic way of propagation. This makes them potentially very dangerous. To make their propagation easier and faster, the worms can attack popular applications. The generalization of the use of Peer-to-Peer networks makes them a perfect target of worms called "Peer-to-Peer worms". These worms, and in particular the passive ones, are characterized by their stealthy. Indeed, they generate no suspect traffic, and are so difficult to detect in the network. The purpose of this thesis is to propose an effective solution against the passive Peer-to-Peer worms, to make Peer-to-Peer networks, which begin to be used to distribute some legal contents such as the VoD (Video on Demand) ones, more secure. We propose several algorithms and an architecture to detect the passive Peer-to-Peer worms in the network. We evaluate our algorithms in a simulator which we have developed, as well as with an analytical study. We then study the mitigation issue of the detected worms