Dévoiler et contourner des écueils courants dans l’analyse des logiciels malveillants

L'importance des systèmes informatiques dans les sociétés modernes ne cesse de croître, tout comme les dommages causés par les logiciels malveillants. L'industrie de la sécurité et les auteurs de logiciels malveillants se sont engagés dans une course aux armements, dans laquelle les premiers créent de meilleurs systèmes de détection tandis que les seconds tentent de les contourner. En fait, toute hypothèse erronée (aussi subtile soit-elle) dans la conception d'un outil anti-malware peut créer de nouvelles voies pour échapper à la détection. Cette thèse se concentre sur deux aspects souvent négligés des techniques modernes d'analyse des logiciels malveillants : l'utilisation d'informations au niveau de l'API pour coder le comportement malveillant et la réimplémentation des routines d'analyse des formats de fichiers exécutables dans les outils orientés sécurité. Nous montrons qu'il est possible de tirer parti de ces pratiques à grande échelle et de manière automatisée. En outre, nous étudions la possibilité de résoudre ces problèmes à la racine, en mesurant les difficultés que les architectes anti-malware peuvent rencontrer et en proposant des stratégies pour les résoudre.As the importance of computer systems in modern-day societies grows, so does the damage that malicious software causes. The security industry and malware authors engaged in an arms race, in which the first creates better detection systems while the second try to evade them. In fact, any wrong assumption (no matter how subtle) in the design of an anti-malware tool may create new avenues for evading detection. This thesis focuses on two often overlooked aspects of modern malware analysis techniques: the use of API-level information to encode malicious behavior and the reimplementation of parsing routines for executable file formats in security-oriented tools. We show that taking advantage of these practices is possible on a large and automated scale. Moreover, we study the feasibility of fixing these problems at their roots, measuring the difficulties that anti-malware architects may encounter and providing strategies to solve them