Detecting metamorphic Malware Using Code Normalization

Dissertação (mestrado)—Universidade de Brasília, Faculdade de Tecnologia, Departamento de Engenharia Elétrica, 2012.Malware é um termo usado para descrever todos os tipos de software maliciosos como vírus, worms ou trojan horses. Para combater tais ameaças, muitas técnicas e ferramentas têm sido empregadas como os anti-* (anti-virus, anti-malware, anti-phishing), os firewalls, sistemas de detecção de intrusão, entre outras. Contudo, novos artifícios têm sido empregados pelos desenvolvedores de malware para dificultar o processo de detecção. Um desses artifícios é proporcionar a alteração do código do malware à medida que sua propagação ocorre. Tal técnica, conhecida como “metamorfismo”, visa dificultar o processo de detecção por assinatura. Essas versões metamórficas do malware são usualmente geradas automaticamente por um componente do código (engine de metamorfismo) incorporado no próprio malware. Detecção de malware metamórfico é um desafio. O problema com scanner baseados em assinatura é que mesmo pequenas alterações no código do malware podem conduzir a falhas no processo de detecção e a base de assinaturas requer constante atualização para inserir as variantes recém-criadas. Este trabalho propõe uma metodologia que permite, a partir de um malware conhecido, reconhecer variantes metamórficas deste. O método proposto reverte às ações de metamorfismo para obter a versão original e, assim, facilitar o processo de identificação do mesmo. Um processo de comparação é feito visando determinar se o programa testado possui o malware buscado. Os resultados alcançados mostram a viabilidade da metodologia proposta, tendo identificado 100% dos malware testados sem a ocorrência de falsos positivos. ______________________________________________________________________________ ABSTRACTMalware is a term used to describe all types of malicious software such as viruses, worms or, Trojan horses. To combat these threats, many techniques and tools have been used as anti-* (anti-virus, anti-malware, anti-phishing), firewalls, intrusion detection systems, among others. However, new approaches have been used by malware developers to make them more difficult the detection process. One of them is to provide the code change every time it copies itself. This technique is known as "metamorphism" and aims to defeat string signature based detection. These versions of metamorphic malware are usually generated automatically by a component of the code (metamorphic engine) that is incorporated in the malware itself. Detection of metamorphic malware is a challenge. The problem with simple signature-based scanning is that even small changes in the malware code may cause a scanner to fail and the signature database requires constant updates to detect newly variants. This work proposes a methodology that allows, from a known malware, recognizing its metamorphic variants. The proposed method reverses the actions of metamorphism for the original version, and thus facilitates the process of identifying the same. A comparison process is done to determine if the tested file has the malware sought. To demonstrate the feasibility, the proposed methodology was applied to set metamorphic variants of a malware, which identified 100% of malware tested without the occurrence of false positives. Moreover, we also compare our approach with commercial antivirus and show that our approach is more effective than existing classification systems