Data mining in Apache Spark framework using MLib library

Količina informacija kojima smo okruženi eksponencijalno raste i s njom javlja se potreba za novim rješenjima na području znanosti o podacima. Kao jedno od rješenja, pojavio se Apache Spark, sa svojom izuzetno brzom jezgrom namijenjenoj za obradu velikih skupova podataka. Spark ujedinjuje nekoliko ugrađenih biblioteka koje je moguće međusobno kombinirati unutar jedne aplikacije. Ovaj rad fokusira se na korištenje MLliba, knjižice za strojno učenje, u procesu izvlačenja korisnih informacija iz velike količine podataka. Taj proces objašnjen je detaljno, počevši s uputama za instalaciju Apache Sparka, kratkim osvrtom na osnovne koncepte i naposljetku praktičnim primjerom izgradnje cjevovoda za strojno učenje te vrednovanjem rezultata koristeći MLlib.The amount of digital data that exists is growing at a rapid rate and with it the need for new solutions in the field of data science. As one of the solutions Apache Spark emerged with its lightening fast unified analytics engine for large-scale data processing. It provides several built-in libraries that you can easily combine in the same application. This thesis focuses on the use of MLlib, a machine learning library, in the process of extracting useful knowledge from volumes of data. The process is explained in details, starting with Apache Spark installation guide, an overview of the main concepts and culminating with a practical example of creating a machine learning pipeline and model evaluation via MLlib library