ROC krivulja - krivulja odnosa specifičnosti i osjetljivosti klasifikatora

Prediktivni, klasifikacijski modeli se koriste u svakom području znanosti te u mnogo grana poslovnog svijeta. U ovom radu su pokazana dva načina mjerenja točnosti predikcija. Prvi način se koristi kada želimo procijeniti neko binarno ponašanje, tj. kada ishod mogu biti samo dvije opcije (primjerice pozitivan i negativan). Tada želimo ocijeniti koliko je dobar binarni klasifikator. Ocjenjujemo prediktivnu točnost testa pomoću mjera senzitivnosti (stvarno pozitivne stope) i specifičnosti (stvarno negativne stope). Drugi način se koristi kada su predikcije neprekidne (numeričke) te ih po nekom kriteriju možemo svesti na problem procjene binarnog ponašanja. Takve kriterije nazivamo granična vrijednost testa vrijednosti (pragove) koji će služiti kao granice odjeljivanja pozitivnog ishoda predikcije od negativnog. ROC krivulja je grafički prikaz senzitivnosti u odnosu na 1-specifičnost, tj. lažno pozitivnu stopu za svaku granična vrijednost testa vrijednost. Prediktivni test se smatra točnijim što se bliže nalazi gornjem lijevom kutu, a lošijim što se približava dijagonali koja odgovara slučajnom testu. Mjera za određivanje točnosti testa pomoću ROC krivulje je površina ispod ROC krivulje, gdje površina od 1 odgovara idealnom testu, dok površina od 0.5 odgovara slučajnom testu. U prvom SAS primjeru je pokazano kako se konstruira ROC krivulja, dok je u drugom primjeru pokazano kako se najbolji logistički model može odabrati usporedbom ROC krivulja.Predictive classification models are used by every field of science and almost all business enterprise. This work shows two ways of measuring predictive accuracy. First one is used for estimating binary behaviour (ex. positive or negative). The goal is to estimate the accuracy of a binary classificator. Measurements sensitivity and specificity determine predictive accuracy of the test. Second one is used when predictions are continuous (numerical). Since we know how to analyze predictive accuracy for a binary predictor, we may consider transforming the predicted probability into a dichotomy by using a threshold (cutoff value). ROC curve plots sensitivity on y-axis and 1-specificity on x-axis for each cutoff value. We consider predictive test to be more accurate when the ROC curve is closer to the upper left corner, and less accurate when the ROC curve is closer to diagonal which represents a random test. Measure for evaluating the performance of a classifier is area under the ROC curve (AUC). AUC = 1 is for a perfect classifier and AUC=0.5 is for a random classifier. First example shows how to construct ROC curve. Second example shows how to choose the best logistic model by comparing ROC curves