Étude du métamorphisme viral (modélisation, conception et détection)

La protection contre les codes malveillants représente un enjeu majeur. Il suffit en effet de considérer les exemples récents des vers Conficker et Stuxnet pour constater que tout système d information peut aujourd hui etre la cible de ce type d attaques. Aussi, nous nous intéressons dans cette thèse aux codes malveillants et plus particuli erement à ceux qui utilisent la technique dite du métamorphisme afin de limiter leur potentielle détection. Pour aborder le métamorphisme nous adoptons une double problématique : dans un première partie nous nous attachons à l élaboration d un moteur de métamorphisme afin d en estimer le potentiel offensif. Pour cela, nous proposons une technique d obscurcissement de code dont la transformation inverse est démontrée NP-complète dans le cadre de l analyse statique. Ensuite, nous appliquons ce moteur sur une souche malveillante préalablement détectée afin d évaluer les capacités des outils de détection actuels. Après cette première partie, nous cherchons ensuite à détecter, outre les variantes engendrées par notre moteur de métamorphisme, celles issues de codes malveillants connus. Pour cela, nous proposons une approche de détection dynamique s appuyant sur la similarité comportementale entre programmes. Nous employons alors la complexit é de Kolmogorov afin de définir une nouvelle mesure de similarité obtenue par compression sans perte. Finalement, un prototype de détection de code malveillant est proposé et évalué.Protection against malicious codes represents a major issue. Recent examples of worms such as Conficker and Stuxnet show that any information system can be considered as a potential target of such attacks. Therefore, we address the threat posed by malicious codes (malware), and especially the particular case of metamorphism, which is used to avoid detection. To address metamorphism, we adopt a dual approach : in a first part we focus on the development of a metamorphic engine to estimate its offensive capacity. For this, we propose an obfuscation technique, for which the inverse transformation is proved to be NP-complete in the context of static analysis. We then apply this engine on a previously detected worm to assess the current capacity of existing 1 detection tools. After this first part, in addition to variants obtained from our metamorphic engine, we then want to detect those from known malware. For this, we propose a dynamic detection approach based on the behavioral similarity between programs. We use Kolmogorov complexity to define a new similarity measure obtained by lossless compression. Finally, this works ends with the description and assessment of a proposed malware detection prototype.RENNES1-BU Sciences Philo (352382102) / SudocSudocFranceF