Analyse de programmes malveillants par abstraction de comportements

L analyse comportementale traditionnelle opère en général au niveau de l implantation de comportements malveillants. Pourtant, elle s intéresse surtout à l identification de fonctionnalités données et elle se situe donc plus naturellement à un niveau fonctionnel. Dans cette thèse, nous définissons une forme d analyse comportementale de programmes qui opère non pas sur les interactions élémentaires d un programme avec le système mais sur la fonction que le programme réalise. Cette fonction est extraite des traces d un pro- gramme, un procédé que nous appelons abstraction. Nous définissons de façon simple, intuitive et formelle les fonctionnalités de base à abstraire et les comportements à détecter, puis nous proposons un mécanisme d abstraction applicable à un cadre d analyse statique ou dynamique, avec des algorithmes pratiques à complexité raisonnable, enfin nous décrivons une technique d analyse comportementale intégrant ce mécanisme d abstraction. Notre méthode est particulièrement adaptée à l analyse des programmes dans des langages de haut niveau ou dont le code source est connu, pour lesquels l analyse statique est facilitée : applications mobiles en .NET ou Java, scripts, extensions de navigateurs, composants off-the-shelf.Le formalisme d analyse comportementale par abstraction que nous proposons repose sur la théorie de la réécriture de mots et de termes, les langages réguliers de mots et de termes et le model checking. Il permet d identifier efficacement des fonctionnalités dans des traces et ainsi d obtenir une représentation des traces à un niveau fonctionnel; il définit les fonctionnalités et les comportements de façon naturelle, à l aide de formules de logique temporelle, ce qui garantit leur simplicité et leur flexibilité et permet l utilisation de techniques de model checking pour la détection de ces comportements ; il opère sur un ensemble quelconque de traces d exécution ; il prend en compte le flux de données dans les traces d exécution; et il permet, sans perte d efficacité, de tenir compte de l incertitude dans l identification des fonctionnalités. Un cadre d expérimentation a été mis en place dans un contexte d analyse dynamique comme statiqueTraditional behavior analysis usually operates at the implementation level of malicious behaviors. Yet, it is mostly concerned with the identification of given functionalities and is therefore more naturally defined at a functional level. In this thesis, we define a form of program behavior analysis which operates on the function realized by a program rather than on its elementary interactions with the system. This function is extracted from program traces, a process we call abstraction. We define in a simple, intuitive and formal way the basic functionalities to abstract and the behaviors to detect, then we propose an abstraction mechanism applicable both to a static or to a dynamic analysis setting, with practical algorithms of reasonable complexity, finally we describe a behavior analysis technique integrating this abstraction mechanism. Our method is particularly suited to the analysis of programs written in high level languages or with a known source code, for which static analysis is facilitated: mobile applications for .NET or Java, scripts, browser addons, off-the-shelf components.The formalism we propose for behavior analysis by abstraction relies on the theory of string and terms rewriting, word and tree languages and model checking. It allows an efficient identification of functionalities in traces and thus the construction of a represen- tation of traces at a functional level; it defines functionalities and behaviors in a natural way, using temporal logic formulas, which assure their simplicity and their flexibility and enables the use of model checking techniques for behavior detection; it operates on an unrestricted set of execution traces; it handles the data flow in execution traces; and it allows the consideration of uncertainty in the identification of functionalities, with no complexity overhead. Experiments have been conducted in a dynamic and static analysis settingNANCY-INPL-Bib. électronique (545479901) / SudocSudocFranceF