Étude du métamorphisme viral : modélisation, conception et détection

Protection against malicious code appears to be a major issue. Recent examples of worms such as Conficker and Stuxnet show that any information system may be the target of such attacks. Therefore, we address the threat posed by malicious code, and especially the case of metamorphism. This is indeed the result of codes evolution techniques ("obfuscation") that allows a program to avoid detection. To address metamorphism we adopt a dual approach: in a first part we focus on the development of a metamorphic engine to estimate its offensive potential. For this, we propose an obfuscation technique, for which the inverse transformation is proofed to be NP-complete in the context of static analysis. Then we apply this engine on a previously detected malicious worm to evaluate the capacity of existing detection tools. After this first part, we then want to detect, in addition to variants obtained from our metamorphic engine, those from known malware. For this, we propose a dynamic detection approach based on the behavioral similarity between programs. We then use Kolmogorov complexity to define a new similarity measure obtained by lossless compression. This works ends with the description and assessment of a malware detection prototype.La protection contre les codes malveillants représente un enjeu majeur. Il suffit de considérer les exemples récents des vers Conficker et Stuxnet pour constater que tout système d'information peut aujourd'hui être la cible de ce type d'attaques. C'est pourquoi, nous abordons dans cette thèse la menace représentée par les codes malveillants et plus particulièrement le cas du métamorphisme. Ce dernier constitue en effet l'aboutissement des techniques d'évolution de codes (" obfuscation ") permettant à un programme d'éviter sa détection. Pour aborder le métamorphisme nous adoptons une double problématique : dans une première partie, nous nous attachons à l'élaboration d'un moteur de métamorphisme afin d'en estimer le potentiel offensif. Pour cela, nous proposons une technique d'obscurcissement de code dont la transformation inverse est démontrée NP-complète dans le cadre de l'analyse statique. Ensuite, nous appliquons ce moteur sur une souche malveillante préalablement détectée afin d'évaluer les capacités des outils de détection actuels. Après cette première partie, nous cherchons ensuite à détecter, outre les variantes engendrées par notre moteur de métamorphisme, celles issues de codes malveillants connus. Pour cela, nous proposons une approche de détection dynamique s'appuyant sur la similarité comportementale entre programmes. Nous employons alors la complexité de Kolmogorov afin de définir une nouvelle mesure de similarité obtenue par compression sans perte. Finalement, un prototype de détection de code malveillant est proposé et évalué