Outlier Detection and its Impact on Regression Analysis

Stršeće vrijednosti, u kontekstu dubinske analize podataka, su zapažanja koja značajno odskaču od drugih vrijednosti u skupu podataka. Takve vrijednosti mogu nastati pogrešnim unosom, dolaziti iz drugih populacija ili biti posljedica iznimnih pojava. Njihova prisutnost može znatno promijeniti rezultate analize i dati pristrane modele. Stoga je otkrivanje stršećih vrijednosti važan korak u obradi podataka i prethodi procesu otkrivanja znanja u skupovima podataka ili primjeni prediktivnih modela. Opisani su pojmovi važni za razumijevanje stršećih vrijednosti te su prikazani različiti statistički i neparametarski postupci za njihovo otkrivanje s primjerima na danim skupovima podataka. Opisana su dva modela regresijske analize podataka, linearna regresija i logistička regresija, te su na primjerima u programskom jeziku R objašnjenje različite mjere za evaluaciju dobivenih modela. Konačno, izrađen je simulator koji prikazuje utjecaj stršećih vrijednosti na parametre i pokazatelje uspješnosti regresijskih modela.Outliers, in the context of data mining, are observations which deviate significantly from other observations in a data set. Such values may arise from erroneous entries, come from other populations or be the result of the extraordinary phenomena. Their presence can significantly change the results of the analysis and give biased models. Therefore, outlier detection is an important step in the data processing and precedes knowledge discovery or application of predictive models. Important concepts about outliers are defined and different statistical and non-parametric methods for the outlier detection are shown with the examples on the given data sets. Two models for regression analysis, linear regression and logistic regression, are described and various measures for evaluation of the obtained models are explained with the examples in R programming language. Finally, the simulator that shows the impact of outliers on the parameters and performance indicators of regression models was built