Data Processing Using Apache Spark

U prvom dijelu ovog rada prikazana je arhitektura programskog okvira Apache Spark-a, dok je u drugom dijelu prikazana obrada skupa podataka i korištenje klasifikacijskih i regresijskih algoritama koji se nalaze unutar Spark-ove knjižice MLlib. Cijeli postupak obrade, treniranja i evaluacije modela napisan je u programskom jeziku Python. Za prikaz korištenja klasifikacijskih algoritama korišteni su naivni Bayesov klasifikator i klasifikator stabla odluke dok su za prikaz korištenja regresijskih algoritama korišteni algoritam linearne regresije, algoritam GBT i algoritam slučajne šume.In this paper, the first part explains the architecture of the Apache Spark framework, while the second part presents the processing of the data set and the use of classification and regression algorithms found within Spark's MLlib. The entire implementation of model processing, training and evaluation is written in the Python programming language. A naive Bayesian classifier and a decision tree classifier were used to illustrate the use of classification algorithms, while a linear regression algorithm, a GBT algorithm, and a random forest algorithm were used to illustrate the use of regression algorithms