Anomaly Detection in Big Data Environments

Anomalije su pojave koje su neobične i odstupaju od zakonitosti, pravila i uobičajenog. Detekcija anomalija ima primjenu u mnogim područjima, između ostalog i u kontekstu detekcije prijevara. U okruženju velikih podataka otvaraju se novi problemi koji se ne mogu riješiti primjenom tradicionalnih alata i tehnologija. Primjenom tehnologija za rad s velikim podacima, poput Apache Sparka, mnogi takvi problemi postaju rješivi i otvaraju se nove mogućnosti za detekciju anomalija. Prije svega, omogućuju obradu puno veće količine podataka i samim time pružaju više znanja o podacima. U radu je napravljena detekcija anomalija nad podacima o telefonskim pozivima koristeći Apache Spark. Za detekciju anomalija korištene su dvije metode: z-ocjena i algoritam k-srednjih vrijednosti. Osim Apache Sparka koji je korišten za obradu podataka i detekciju anomalija, korišten je programski jezik R za vizualizaciju i analizu konačnih rezultata.Anomalies are observations that are unusual and deviate from rules and normal observations. Anomaly detection is applicable in numerous fields, especially in fraud detection.There are many problems in big data environments that cannot be solved using traditional tools and technologies. With the use of big data technologies, such as Apache Spark, many of those problems could be solved and new opportunities for anomaly detection would be made available. Those technologies allow for processing of big data while simultaneously increasing understanding of the data itself. In this thesis anomaly detection is done using Apache Spark on telephone calls data. For anomaly detection two methods have been used: z-score and k-means algorithm. Besides Apache Spark, which is used primarily for data processing and anomaly detection, R programming language is used for visualization and results analysis