Statističko učenje

U ovom radu dali smo je kratki pregled područja statističkog učenja, osnovnu terminologiju te smo se usredotočili na problem nadziranog učenja. Pojasnili smo razliku između regresijskih i klasifikacijskih problema i dali njihovu matematičku formulaciju u terminima različitih funkcija troška. Uveli smo linearne regresijske i klasifikacijske modela te naveli često korištene pretpostavke te bitne rezultate. Diskutirali smo regularizacijske metode te dali interpretacije različitim odabirima regularizacijskog člana. Uveli smo osnovne metode ocjene i odabira modela, definirali pojam ravnoteže pristranosti i varijance, diskutirali razliku između trening greške i testne greške te pokazali neke metode za procjenu testne greške. Također smo uveli model umjetne neuronske mreže, definirali strukturu neurona, naveli često korištene aktivacijske funkcije te ukratko opisali popularne regularizacijske metode. Završili smo s nekoliko primjera koji imaju svrhu ilustrirati neke od metoda o kojima smo diskutirali.In this work we gave a brief overview of statistical learning theory. We introduced basic terminology and focused on supervised learning. We explained the difference between regression and classification problems and introduced their mathematical formulation regarding different cost functions. We introduced linear regression and classification models and discused usual assumptions as well as some important results. We also discused some regularization methods and interpreted different choices for regularization terms. We introduced basic model assessment and selection methods, defined bias-variance tradeoff, discused difference between training and test error and showed some methods for test error estimation. We introduced artificial neural networks, defined a model of a neuron, listed common activation functions and described some popular regularization methods. In the end we gave some examples with the goal of illustrating methods discussed in this work