Streaming Network Traffic Data Storage and Notification System

Analiza je podataka u stvarnom vremenu potrebna u brojnim velikim sustavima, a korištenje strujećih tehnologija predstavlja najbolje rješenje za te sustave. Apache kafka softver je koji nam pojednostavljuje korištenje tih podataka, omogućavajuci nam odrediti tko, što, gdje i kako šalje te tko ima pristup čitanju podataka. Zbog svog je načina rada, Kafka vrlo skalabilna, a ukoliko je dostupnost količine resursa dostatna, broj podataka nije problem. U ovom radu se izgradio jedan sustav koji koristi Kafku, dakle ima proizvođače koji šalju podatke na teme i potrošače koji su pretplaćeni na te teme. Naglasak je bio na funkcioniranju cijelog sustava kao cjeline, a ne na rad pojedinih komponenata pa je njihova implementacija pojednostavljena u odnosu na to kakva je ona zapravo.Many large systems require analysis of data in real time. The best solution for that is data streaming. Apache Kafka is a software that simplifies handling of such streaming data and allows us to determine who, what, where and how does it send data and who has access to that data. Because of the way Kafka works, it is scalable and if there is access to enough resources the number of data is not an issue. A system that uses Kafka is built in this paper, consequently it has producers that send data to topics and consumers that are subscribed to that topics. The emphasis was on the functionality of the system as a whole, not on the functionality of its components, so their implementation is simplified compared to the way it really is