Real-time Data Stream Visualization

Tema ovog diplomskog rada je izrada sustava za vizualizaciju neprekidnih tokova podataka u telefonskoj industriji koji u njega dolaze kroz Apache Kafku – platformu za procesuiranje tokova podataka u realnom vremenu. Opisano je na koji se način šalju takvi tokovi podataka, objašnjeni su glavni elementi platforme te na koji način funkcionira uz priložene primjere implementacije. Također, istraženi su i implementirani različiti načini za vizualizaciju tokova podataka u realnom vremenu korištenjem biblioteka za grafički prikaz podataka (linijski graf vremenske serije, graf za analizu društvenih mreža, stupčasti graf vremenske serije, graf geografskih karti itd.). Budući da se sustav sastoji od više komponenti – Apache Kafka za rad s tokovima podataka, Node.js za poslužitelj na kojem je izgrađena aplikacija te HTML i JavaScript za prikaz samih grafova, opisana je arhitektura cijelog sustava te na koji su način navedene komponente povezane.This thesis focuses on developing a software system for visualization of continuous data streams in telecommunications industry which enter in system through Apache Kafka – platform for processing data streams in real time. Through this thesis it was described and explained how those data streams enter in system and of which parts of Apache Kafka consists. Also, different types for visualization like timeseries line graph, SNA graph, column graph and map graph were researched and implemented. Software system consists of multiple components – Apache Kafka for processing data streams, Node.js for building application server, HTML and JavaScript for data visualization. This thesis contains description of all components and how they mutually interact, as well as a description of system architecture