Detecting Malicious Url'S Using Lexical Analysis With Deep Learning Techniques

Günümüzde yeni geliştirilen teknolojiler insan hayatını kolaylaştırmaktadır. Fakat internet ve siber âlem siber saldırılara açık bir ortamdır. URL'ler saldırı için kullanılan temel araçlardan bir tanesidir. Kötü niyetli URL'ler phishing, spam, finansal dolandırıcılık ve malware gibi pek çok internet suç aktivitesi için temel bir mekanizmadır. İnternetteki kötü niyetli URL'leri etkili bir şekilde tespit etmek ve sınıflandırmak amacıyla araştırmacılar tarafından kara liste hizmetleri geliştirilmiştir. Kötü niyetli URL'leri kara listeye almak hem kötü niyetli URL'nin hem de yeni oluşturulan URL'nin varyasyonlarını bulmakta tamamen etkili olmadığı için bu durum sorunun yalnızca bir kısmını çözmektedir. Devamlı güncelleme yapılması gerektiği için de zaman alıcı bir yaklaşımdır. Kötü niyetli URL'lerin saldırı türlerine göre tespit edilmesi ve sınıflandırılması bu saldırıları engellemek için kritik öneme sahiptir. Bir tehdidin türünü bilmek, saldırının ciddiyetinin tahmin edilmesini sağlamakta ve etkili bir önlem alınmasına yardımcı olmaktadır. Bu tez çalışmasında, kötü niyetli URL'lerin saldırı türlerine göre tespit edilmesi ve sınıflandırılması için derin öğrenme kullanan bir yöntem önerilmiştir. Aynı zamanda literatürde çok sayıda örneği olan makine öğrenmesi yöntemi de kullanılmıştır. URL'lerin proaktif tespiti için sözcüksel analiz kullanılmıştır. İyi huylu, spam, phishing, malware ve defacement olmak üzere beş farklı URL türü hem makine öğrenmesi hem de derin öğrenme yöntemleri ile incelenmiştir. İki yöntemde de ikili ve çoklu sınıflandırma yapılmıştır. Sonuçlar kendi içlerinde karşılaştırılmıştır. Alınan sonuçlar literatür ve makine öğrenmesi algoritmaları ile karşılaştırıldığında daha başarılı sonuçlar elde edilmiştir.Today, newly developed technologies make human life easier. But the internet and cyber realm is an open environment for cyber-attacks. URLs are one of the main tools used for cyber-attack. Malicious URLs are a key mechanism for many Internet criminal activity, such as phishing, spam, identity theft, financial fraud and malware. Blacklist services have been developed by researchers to effectively identify and classify malicious URLs on the Internet. Blacklisting malicious URLs solves only part of the problem, as it is not entirely effective in finding variations of both the malicious URL and the newly created URL. It is a time-consuming approach as continuous updating is required. Detecting and classifying malicious URLs by attack types is critical to preventing these attacks. Knowing the nature of a threat provides an estimate of the severity of the attack and helps to take effective action. In this thesis, a method that uses deep learning is proposed to detect and classify malicious URLs according to attack types. At the same time, machine learning method which has many examples in literature has been used. Lexical analysis was used for the proactive detection of URLs. Five different types of URLs, benign, spam, phishing, malware and defacement, have been examined through both machine learning and deep learning methods. Binary and multiple classification were performed in both methods. The results were compared in-house. Compared to literature and machine learning algorithms, the results were more successful