L’usage de l’exécution symbolique pour la déobfuscation binaire en milieu industriel

This doctoral work has been done in an industrial environment where the mainactivities were reverse engineering for vulnerability research and security properties verification on binary programs. The first part of this doctoral work focuses on the collection and sharing of the industrial problems when analyzing binary programs. Based on these issues, a binary dynamic analysis framework has been developed and formalized. Real examples of use are then presented, such as the detection of opaque predicates in branch conditions. Finally, a new automatic approach for deobfuscation of binary code protected by virtualization is presented combining features of the framework as well as those of other tools.Cette thèse a été faite dans un cadre industriel où les activités principales sont la rétro-ingénierie pour la recherche de vulnérabilités et la vérification de certaines propriétés de sécurité sur des programmes déjà compilés. La première partie de cette thèse porte sur la collecte et le partage des problématiques industrielles lors de l’analyse de programmes binaires. Basé sur ces problématiques, un cadre de travail d’analyse dynamique binaire a été développé et formalisé. Des exemples réels d’utilisation y sont ensuite présentés tels que la détection de prédicats opaques dans les conditions de branchement. Enfin, une nouvelle approche automatique permettant la dévirtualisation de code binaire y est présentée en combinant les fonctionnalités du cadre de travail ainsi que celles d’autres outils