Data Stream Analysis in Big Data Environments

Cilj ovoga rada bio je istražiti postojeće tehnologije za obradu tokova podataka, s naglaskom na Apache Spark Streaming. Na početku rada opisane su tehnologije koje su od najvećeg značaja za ovaj rad, Apcahe Spark i Apache Kafka. U sklopu Sparka opisan je Spark Streaming koji je bio glavna tema ovog rada. Nakon toga opisane su neke specifikacije grozda računala na kojemu je ovaj diplomski rađen. Spark Streaming isproban je problemu detekcije anomalija, a na početku praktičnog dijela prvo je dana teorijska pozadina vezana za anomalije, a nakon toga je opisan i postupak rješavanja problema. Na kraju je dana usporedba Apache Storma sa Spark Streamingom.The main goal of this thesis was to explore current streaming technologies with main focus on Apache Spark Streaming. At the beginning are describen main technologies used in this thesis. After that are given specifications of cluster used in this thesis. For practical part is chosen anomaly detection problem. At the beginning of practical part are explained anomalies and why are they usefull, and afterwards is describen problem solution. At the end are compared Apache Storm and Apache Spark Streaming