Integrating Big Data Platforms with Traditional Data Analysis Systems

Obrada velikih podataka zahtijeva korištenje posebnih platformi koje omogućavaju paraleliziranu i raspodijeljenu obradu velikih podataka. Spark je danas jedna od vodećih platformi za velike podatke. R je vodeći programski jezik za statistiku i eksploratornu analizu podataka uz ograničenje da tradicionalno radi s podacima koji su učitani u radnu memoriju. R i Spark se mogu integrirati u moćan radni okvir za analizu velikih podataka i izradu prediktivnih modela uz pomoć paketa sparklyr. Osnovna ideja korištenja R-a kao sučelja prema Sparku je da se sva računanja obavljaju u Spark grozdu, dok R prima rezultate od Sparka.Processing big data requires specialized platforms for parallel and distributed computing. Spark is today one of the most important big data platforms. R is the leading programming language for statistics and exploratory data analysis, but its limitation is that it traditionally works with data loaded into RAM. R and Spark can be integrated into a powerful framework for big data analysis and predictive modelling with the help of R package sparklyr. The basic idea of using R as an interface to the Spark is to let Spark cluster handle all computational jobs, while R session collects results from Spark