Data mining and machine learning for reverse engineering

Reverse engineering is fundamental for understanding the inner workings of new malware, exploring new vulnerabilities in existing systems, and identifying patent infringements in the distributed executables. It is the process of getting an in-depth understanding of a given binary executable without its corresponding source code. Reverse engineering is a manually intensive and time-consuming process that relies on a thorough understanding of the full development stack from hardware to applications. It requires a much steeper learning curve than programming. Given the unprecedentedly vast amount of data to be analyzed and the significance of reverse engineering, the overall question that drives the studies in this thesis is how can data mining and machine learning technologies make cybersecurity practitioners more productive to uncover the provenance, understand the intention, and discover the issues behind the data in a scalable way. In this thesis, I focus on two data-driven solutions to help reverse engineers analyzing binary data: assembly clone search and behavioral summarization. Assembly code clone search is emerging as an Information Retrieval (IR) technique that helps address security problems. It has been used for differing binaries to locate the changed parts, identifying known library functions such as encryption, searching for known programming bugs or zero-day vulnerabilities in existing software or Internet of Things (IoT) devices firmware, as well as detecting software plagiarism or GNU license infringements when the source code is unavailable. However, designing an effective search engine is difficult, due to varieties of compiler optimization and obfuscation techniques that make logically similar assembly functions appear to be dramatically different. By working closely with reverse engineers, I identify three different scenarios of reverse engineering and develop novel data mining and machine learning models for assembly clone search to address the respective challenges. By developing an intelligent assembly clone search platform, I optimize the process of reverse engineering by addressing the information needs of reverse engineers. Experimental results suggest that Kam1n0 is accurate, efficient, and scalable for handling a large volume of data.The second part of the thesis goes beyond optimizing an information retrieval process for reverse engineering. I propose to automatically and statically characterize the behaviors of a given binary executable. Behavioral indicators denote those potentially high-risk malicious behaviors exhibited by malware, such as unintended network communications, file encryption, keystroke logging, abnormal registry modifications, sandbox evasion, and camera manipulation. I design a novel neural network architecture that models the different aspects of an executable. It is able to predict over 139 suspicious and malicious behavioral indicators, without running the executable. The resulting system can be used as an additional binary analytic layer to mitigate the issues of polymorphism, metamorphism, and evasive techniques. It also provides another behavioral abstraction of malware to security analysts and reverse engineers. Therefore, it can reduce the data to be manually analyzed, and the reverse engineers can focus on the binaries that are of their interest. In summary, this thesis presents four original research projects that not only advance the knowledge in reverse engineering and data mining, but also contribute to the overall safety of our cyber world by providing open-source award-winning binary analysis systems that empower cybersecurity practitioners.L’ingénierie inverse est essentielle pour comprendre le fonctionnement interne des nouveaux logiciels malveillants, explorer des nouvelles vulnérabilités dans les systèmes existants et identifier les violations de brevets dans les exécutables distribués. C'est le processus d'obtenir une compréhension approfondie d'un exécutable binaire donné sans le code source. L'ingénierie inverse est un processus intensif manuellement et long qui compte sur une compréhension approfondie de la pile de développement complète. Cela nécessite une courbe d'apprentissage beaucoup plus raide que la programmation. Compte tenu de la quantité sans précédent de données à analyser, la question générale promeut les travaux de cette thèse est de savoir comment les technologies d'exploration de données et d’apprentissage machine peuvent rendre les praticiens de la cybersécurité plus productifs pour découvrir la provenance et découvrez les problèmes liés aux données. Dans cette thèse, je me concentre sur deux solutions basées sur les données pour aider les ingénieurs inverse à analyser des données binaires: la recherche de clone d'assemblage et la synthèse comportementale.La recherche de clones de code d'assemblage est émergent comme une technique de récupération d'informations (IR) qui aide à résoudre les problèmes de sécurité. Il a été utilisé par différents binaires pour localiser les pièces modifiées, identifiant des fonctions de bibliothèque connues telles que le cryptage, la recherche de bogues de programmation connus ou de vulnérabilités zero-day dans les logiciels existants ou les appareils de firmware d'internet des objets (IoT), ainsi que la détection de plagiat logiciel ou d’infractions de licence GNU lorsque le code source est indisponible. Cependant, concevoir un moteur de recherche efficace est difficile, en raison de la diversité d’obscurcissement du compilateur et les techniques qui rendent les fonctions d’assemblage logiquement similaires semblent être radicalement différentes. En travaillant en étroite collaboration avec les ingénieurs inverse, j'identifie trois scénarios différents d'ingénierie inverse et développé de nouveaux modèles d'exploration de données et d’apprentissage machine pour la recherche de clones d'assemblage afin de relever les défis respectifs. En développant une plate-forme de recherche de clones d'assemblage intelligente, j'optimise le processus d’ingénierie inverse en s'adressant aux besoins des informations pour l’ingénieurs inverse. La deuxième partie de la thèse va au-delà de l’optimisation d’un processus de récupération d’information pour l’ingénierie inverse. Je propose de caractériser automatiquement et statiquement les comportements d’un exécutable binaire donné. Les indicateurs comportementaux indiquent les comportements malveillants potentiellement à risque élevé par des logiciels malveillants, tels que les communications réseau non intentionnelles, le cryptage des fichiers, l’enregistrement des frappes clavier, les modifications de registre anormales, l’environnement de test (Sandbox), et la manipulation de la caméra. Je conçois une nouvelle architecture de réseau neuronal qui modélise les différents aspects d’un exécutable. Il est capable de prédire plus de 139 indicateurs de comportement suspects et malveillants, sans exécuter l'exécutable. Le système résultant peut être utilisé comme une couche analytique binaire supplémentaire pour atténuer les problèmes de polymorphisme, de métamorphisme et des techniques évasives. Il fournit également une autre abstraction comportementale des logiciels malveillants aux analystes de la sécurité.En résumé, cette thèse présente quatre projets de recherche originaux qui non seulement avance les connaissances d’ingénierie inverse et d'exploration de données, mais aussi contribuent à la sécurité globale de notre monde cybernétique en fournissant des systèmes d’analyse binaire primés à la source ouverte qui responsabilisent les praticiens de la cybersécurité