Etude des malware évasifs : conception, protection et détection

There is a permanent confrontation between malware and antiviruses, leading both parties to evolve continuously. On the one hand, the antiviruses put in place solutions that are more and more advanced and propose complex detection techniques in addition to the classic signature detection. Once a new malware is detected, the antiviruses conduct deeper analysis to extract a signature and keep their database quickly updated. This complexification leads the antiviruses to leave traces of their presence on the machine they protect. On the other hand, malware authors willing to create long- lasting malware at a low cost can use simple techniques to avoid being deeply analyzed by these antiviruses. It is then possible for malware to search for the presence of traces or artifacts left by the antiviruses and then decide to execute or not their malicious payload. We define such software as being evasive malware. This thesis focuses on the study of evasive malware targeting the Windows operating system. A first contribution aims at evaluating the efficiency of evasion techniques against a panel of antiviruses. We then propose a countermeasure designed to stop the execution of the malware using this kind of technique by simulating the presence of the modifications made by the antiviruses within the operating system. These decoys are created by instrumenting the Windows API using Microsoft Detours. Finally, we evaluate this countermeasure on a few samples of malware collected in the wild. A second contribution aims at answering to the lack of a dataset of evasive malware. To do so, we label an existing dataset of Windows malware using two ways. First, with the help of an automatic detection that exploits the countermeasure we created, and second, thanks to collaborative labeling available on a public platform.Il y a une confrontation permanente entre les malware et les antivirus conduisant les deux partie à évoluer continuellement. D’un côté, les antivirus mettent en place des solutions de plus en avancées et proposent des techniques de détection complexes venant s’ajouter à la classique détection par signature. Lorsqu’un nouveau malware est détecté, les antivirus conduisent des recherches plus approfondies afin de produire une signature et garder leur base de données à jour rapidement. Cette complexification conduit les antivirus à laisser des traces de leur présence sur les machines qu’ils protègent. D’un autre côté, des auteurs de malware souhaitant créer des malware durables à bas coûts peuvent quant à eux utiliser de simples méthodes permettant d’éviter une détection et une analyse approfondie par ces antivirus. Il est possible pour un malware de rechercher la présence de traces ou d’artéfacts laissés par les antivirus pour ensuite décider d’exécuter ou non leur charge malveillante. Nous désignons de tels programmes comme étant des malware évasifs. Cette thèse se concentre sur l’étude de malware évasifs ciblant le système d’exploitation Windows. Une première contribution vise à évaluer l’efficacité de techniques d’évasion contre un panel d’antivirus. Nous proposons par la suite une contre-mesure visant à stopper l’exécution de malware utilisant ce genre de techniques d’évasion en simulant les modifications faites par un antivirus dans le système d’exploitation. Ces leurres sont créés via l’instrumentation de l’API Windows à l’aide de Microsoft Detours. Nous évaluons cette contre-mesure sur quelques exemples de malwares évasifs récupérés dans la nature. Une seconde contribution a pour objectif de répondre à l’absence de dataset de malware évasifs. Pour cela, nous étiquetons un dataset de malware Windows existant de deux manières. Premièrement, à l’aide d’une détection automatique utilisant la contre-mesure issue de notre première contribution et deuxièmement, à l’aide d’un étiquetage collaboratif accessible publiquement