Optimization of network flow monitoring

Tato disertační práce se zabývá optimalizací sledování síťových toků. Sledování síťových toků spočívá ve sledování jejich stavu a je klíčovou úlohou pro řadu síťových aplikací. S každým příchodem paketu je nutné aktualizovat hodnoty stavu, což zahrnuje přístupy do paměti. Vzhledem k vysoké propustnosti linek a obrovskému množství souběžných toků hraje přístup do paměti kritickou roli ve výkonnosti stavového zpracování síťového provozu. Tento problém se řeší různými technikami. Tyto techniky ale ve výsledku vždy požadují, aby nejblíže zpracování provozu byla nasazena paměť s nízkou odezvou, cache toků, schopná vyřídit všechny přístupy. Cache toků má proto omezenou kapacitu a její efektivní správa má zásadní vliv na výkonnost a výsledky zpracování síťového provozu. Vzhledem ke specifikům síťového provozu nemusí být stávající správy vhodné pro správu cache toků. Disertační práce se proto zabývá automatizovaným vývojem správy cache na základě reálného provozu dané sítě. Automatizace vývoje správy cache toků je realizována pomocí genetického algoritmu. Genetický algoritmus vyvíjí nová řešení a hodnotí je simulací nad vzorkem provozu z různých sítí. Navržený postup je ověřen na vývoji správ pro dva problémy. Prvním problémem je vývoj správy, která bude vykazovat celkově nízký počet výpadků stavů z cache toků. Druhým problémem je vývoj správy, která bude vykazovat velmi nízký počet výpadků u velkých toků. Optimalizace zakódování správy a experimenty s parametry genetického algoritmu ukázují, že je možné nalézt správy cache toků, které jsou optimalizované pro specifika daného nasazení. Nově vyvinuté správy poskytují lepší výsledky než ostatní testované správy. Z hlediska snížení celkového počtu výpadků je vyvinuta správa, která snižuje počet výpadků na konkrétní datové sadě až o deset procent vůči nejlepší porovnávané správě. Z pohledu snížení počtu výpadků u velkých toků je dosaženo vyvinutou správou až dvojnásobného snížení výpadků. Většina velkých toků (více než 90%) nezaznamenala při použití vyvinuté správy dokonce ani jeden výpadek. Rovněž během záplav nových toků, které se v síťovém provozu vyskytují v souvislosti se skenováním sítí a útoky, se ukazují velmi dobré vlastnosti vyvinuté správy. V rámci práce je rovněž navrženo rozšíření správy o využití doplňkové informace ze záhlaví příchozích paketů. Výsledky ukazují, že kombinací této informace lze počet výpadků u správ dále snižovat.The thesis deals with optimization of network flow monitoring. Flow-based network traffic processing, that is, processing packets based on some state information associated to the flows which the packets belong to, is a key enabler for a variety of network services and applications. The number of simultaneous flows increases with the growing number of new services and applications. It has become a challenge to keep a state per each flow in a network device processing high speed traffic. A flow table, a structure with flow states, must be stored in a memory hierarchy. The memory closest to the processing is known as a flow cache. Flow cache management plays an important role in terms of its effective utilization, which affects the performance of the whole system. This thesis focuses on an automated design of cache replacement policy optimized to a deployment on particular networks. A genetic algorithm is proposed to automate this process. The genetic algorithm generates and evaluates evolved replacement policies by a simulation on obtained traffic traces. The proposed algorithm is evaluated by designing replacement policies for two variations of the cache management problem. The first variation is an evolution of the replacement policy with an overall low number of state evictions from the flow cache. The second variation represents an evolution of the replacement policy with a low number of evictions belonging to large flows only. Optimized replacement policies for both variations are found while experimenting with various encoding of the replacement policy and genetic operators. The newly evolved replacement policies achieve better results than other tested policies. The evolved replacement policy lowers the overall amount of evictions by ten percent in comparison with the best compared policy. The evolved replacement policy focusing on large flows lowers the amount of their evictions two times. Moreover, no eviction occurs for most of the large flows (over 90%). The evolved replacement policy offers better resilience against flooding the flow cache with large amount of short flows which are typical side effects of scanning or distributed denial of service activities. An extension of the replacement policy is also proposed. The extension complements the replacement policy with an additional information extracted from packet headers. The results show further decrease in the number of evictions when the extension is used.