Reducing false positives in intrusion detection by means of frequent episodes

NORSK: Innbruddsdeteksjonssystemer har i den senere tid blitt en viktig del av netverkssikkerhet. Disse systemene bruker enten signaturbasert eller anomliebaserte metoder for å oppdage angrep. Anomaliebaserte systemer bygger en model over hvordan normal trafikk er forventet på netverket. Trafikk som ikke passer inn i denne model blir antatt å være ondsinnet. Signaturbaserte systemer benyter seg av kjente mønstre som er representativt for angrepet. Normal netverkstrafikk kan ofte bli gjenkjent av signaturene som selv om de ikke er ondsinnet trafikk, dette gjør at innbruddsdeteksjonssystemer ofte rapporter en stor mengde med falske alarmer. Datagraving er en teknikk som leter etter mønstre og sammenhenger mellom data i en stor data base. Frekvente episoder er en datagravings teknikk som finner mønstre som ofte opptrer i en sekvens med hendelser. Vi har brukt frekvente episoder til å finne alarm mønstre som ofte finner sted i en alarm log. Av disse mønstrene lager vi regler som blir brukt til å fjerne alarmer vi ikke er interresert i. I experimentene våre har vi brukt KDD Cup ’99 sammen med traffic fra et lite netverk som er en del av Gjøvik Høyskole. I denne masteroppgaven har vi brukt frekvente episoder til å finne mønstre i innbruddsdeteksjonssystemers alarm log. Denne teknikken er kjent for å finne mange frekvente episoder som ikke er relevante eller overflødige. For å løse dette har vi utviklet vår egen algorithme som finner og fjerner de episodene vi ikke er interresert i å beholde. Det vi sitter igjen med etter at uønskede episoder er fjernet er et lite set med episoder som blir brukt til å lage filtrerings relger fra.ENGELSK:Intrusion detection system have become an increasingly important part of network security. Two types of intrusion detection systems are used, misuse and anomaly. Anomaly build a model of what is benign traffic, anything deviating from this will be flagged as malicious activity. Misuse search for pattern or known strings (a.k.a signatures) within network traffic, any matching traffic will be considered suspicious. How ever, often normal network traffic produce matches against signatures, creating large amounts of false alarms. Data mining techniques looks for patterns or relations between records in a large data set. Frequent episodes is a data mining technique to find frequently occurring patterns, in an event sequence. In this thesis we apply frequent episodes as data mining technique to find patterns of frequently occurring alarms. From these patterns we create rules, which can be applied to filter out unwanted alarms. Experiment have been preformed on KDD Cup ’99 data along with traffic from a small private network part of Gjøvik University College. This thesis investigate the use of frequent episode data mining to find patterns in intrusion detection alert logs. Mining for frequent episodes is known for creating a lot of redundant and irrelevant episodes. We have applied our own algorithm to find and remove those episodes we do not want to keep. After we have removed unwanted episodes we are left with a small set of episodes from which we create attribute rules for