Security Analytics and Machine Learning for Cyber Detection: Problematiche Moderne e Soluzioni Innovative

La rilevazione efficace dei cyber-attacchi avanzati è un problema complesso che presenta numerose problematiche e sfide. Gli attaccanti più esperti migliorano continuamente i propri strumenti e, attraverso l'attuazione di strategie originali, sono in grado di eludere la rilevazione degli approcci tradizionali basati su regole statiche. Di conseguenza, molte data-breach richiedono mesi prima di essere identificate, provocando ingenti danni alle organizzazioni moderne. Gli operatori umani da soli non sono in grado di gestire il continuo aumento della complessità, varietà e velocità delle minacce recenti. Per risolvere questo problema, come evidenziato sia dalla letteratura scientifica che da appositi report tecnici, gli analisti della sicurezza devono essere supportati da meccanismi di rilevazione aumatici che possano sfruttare le grandi quantità di dati generati dalle reti moderne. Questa tesi promuove e incentiva questa posizione, proponendo tecniche di security analytics che adottano modelli di machine learning e algoritmi matematici. In particolare, vengono presentate soluzioni originali per la cyber detection di minacce diffuse quali botnet, lateral movement, comunicazioni periodiche malevole, e phishing. Viene anche effettuato uno studio dei problemi che affliggono questi approcci nei contesti di cybersecurity, caratterizati da una - non apparente - difficoltà di applicazione di nuove soluzioni, a causa della difficoltà di definire la linea di separazione tra azioni malevole e legittime. Nella seconda parte di questa tesi, si considera il problema degli adversarial attack contro i cyber detector, e si presentano soluzioni originali per ridurre l'impatto di simili minacce. Tutti i metodi proposti richiedono un ridotto quantitativo di informazioni e si basano su assunzioni essenziali, consentendone l'integrazione nei framework di difesa adottati dalle organizzazioni reali. Un valore importante che caratterizza l'intera tesi è che tutte le idee e tecniche proposte sono validate attraverso numerose campagne sperimentali effettuate su dataset realistici di grosse dimensioni. I risultati ottenuti migliorano lo stato dell'arte e, in alcuni casi, risolvono i problemi di detection. Per queste ragioni, si può affermare che la presente tesi costituisca un solido fondamento per la creazione di sistemi difensivi che siano in grado di supportare gli analisti della sicurezza anche in presenza delle forme di cyber-attacchi più all'avanguardia.Efficient detection of advanced cyber attacks is a complex problem that presents multiple issues and challenges. Skilled attackers are constantly improving their tools and, by adopting original strategies, are able to evade the detection of traditional rule-based approaches. As a consequence, large amounts of data breaches remain undetected for months, causing severe damage to organizations. Humans alone cannot efficiently deal with the increasing velocity, complexity and variety of modern threats. To address these critical menaces, as evidenced by both scientific literature and practical reports, cybersecurity analysts need to be supported with forms of automatic detection mechanisms that exploit the huge volume of data generated by modern systems and networks. This thesis promotes and improves this conviction by leveraging security analytics through machine learning models and mathematical algorithms. We present original solutions for cyber detection of popular threats related to botnets, lateral movements, malicious periodic communications and phishing. We also study the problems affecting these approaches in cybersecurity contexts where solutions are not as straightforward as expected and the balance between true and false detection remains an open issue. In the second part of the thesis, we consider the problem of adversarial attacks against cyber detectors, and we present original solutions to mitigate similar threats. The proposed methods require minimal amounts of information and few assumptions, thus enabling their integration in real defensive frameworks of large enterprises. An important value characterizing the entire thesis is that all the proposed ideas and approaches are implemented and evaluated through experimental campaigns involving real datasets. The presented results improve the state-of-the-art and, in some cases, solve the detection problems. For these reason, we can conclude that this thesis paves the way to new defensive systems that can support cyber analysts in detecting advanced forms of attacks in several scenarios