Modèle de protection contre les codes malveillants dans un environnement distribué

The thesis consists in two principal parts: the first one discusses the message format extraction and the second one discusses the behavioral obfuscation of malwares and the detection.In the first part, we study the problem of ``binary code coverage'' and ``input message format extraction''. For the first problem, we propose a new technique based on ``smart'' dynamic tainting analysis and reverse execution. For the second one, we propose a new method using an idea of classifying input message values by the corresponding execution traces received by executing the program with these input values. In the second part, we propose an abstract model for system calls interactions between malwares and the operating system at a host. We show that, in many cases, the behaviors of a malicious program can imitate ones of a benign program, and in these cases a behavioral detector cannot distinguish between the two programs.La thèse contients de deux parties principales: la première partie est consacrée à l’extraction du format des messages, la deuxième partie est consacrée à l’obfuscation des comportements des malwares et la détection. Pour la première partie, nous considérons deux problèmes: "la couverture des codes" et "l’extraction du format de messages".Pour la couverture des codes, nous proposons une nouvelle méthode basée sur le "tainting intelligent" et sur l’execution inversée. Pour l’extraction du format des messages, nous proposons une nouvelle méthode basée sur la classification de messages en utilisant des traces d’execution.Pour la deuxième partie, les comportements des codes malveillants sont formalisés par un modèle abstraire pour la communication entre le programme et le système d’exploitation. Dans ce modèle, les comportements du programme sont des appels systèmes.Étant donné les comportements d’un programme bénin, nous montrons de façon constructive qu’il existe plusieurs programmes malveillants ayant également ces comportements. En conséquence, aucun détecteur comportemental n’est capable de détecter ces programmes malveillants