Principal Component Analysis and Factor Analysis

U ovom su radu opisane statističke metode analiza glavnih komponenti i faktorska analiza. U prvom dijelu rada navedeni su osnovni pojmovi i rezultati koji su potrebni u nastavku. U drugom poglavlju se bavimo analizom glavnih komponenti. Najprije definiramo i izvodimo glavne komponente, a zatim navodimo neka njihova algebarska svojstva i statističke implikacije tih svojstava. Nakon toga definiramo glavne komponente uzorka te se bavimo distribucijskim rezultatima za glavne komponente i procjenom parametara. Nadalje, osvrćemo se na nejedinstvenost glavnih komponenti za slučajan uzorak i njegove realizacije. Naime, glavne komponente nisu jedinstvena karakteristika podataka nego ovise o korištenim mjernim jedinicama i tipu matrice koja se koristi za izračun glavnih komponenti slučajnog uzorka. Zaključno, opisujemo jednu primjenu glavnih komponenti, primjenu glavnih komponenti u linearnoj regresiji. U trećem poglavlju se bavimo faktorskom analizom. U tom poglavlju prvo definiramo faktorski model, a nakon toga opisujemo procjenu parametara faktorskog modela. U tom poglavlju navodimo i usporedbu metoda, tj. navodimo sličnosti i razlike, analize glavnih komponenti i faktorske analize. U četvrtom poglavlju provodimo analizu glavnih komponenti i faktorsku analizu na primjerima. Kod primjera analize glavnih komponenti objašnjavamo kada ima smisla koristiti ovu metodu, kako odabrati broj glavnih komponenti za daljnju analizu, kako interpretirati zadržane glavne komponente te ilustriramo primjenu glavnih komponenti u linearnoj regresiji. Slično, kod primjera faktorske analize objašnjavamo kada su podaci prikladni za faktorsku analizu, kako odabrati broj faktora i kako interpretirati faktorsku strukturu.In this thesis we describe two statistical methods, namely, principal component analysis and factor analysis. In the first chapter of this thesis we list basic concepts and results that are used throughout the thesis. In the second chapter we deal with principal component analysis. We first define and derive the principal components. In addition, we list some of their algebraic properties and the statistical implications of those properties. After that, we define the sample principal components and deal with distributional results and parameter estimation for the sample principal components. Furthermore, we look at the non-uniqueness of the principal components for random samples and their realizations. The principal components are not a unique characteristic of the data but depend on the units of measurement used and the type of matrix used to construct the sample principal components. To conclude this chapter, we describe one application of principal components and that is how to use prinicpal components in linear regression. In the third chapter, we first define the factor model and then describe the estimation of the factor model. In this chapter we also list the similarities and differences between principal component analysis and factor analysis. In the fourth chapter, we perform principal component analysis and factor analysis on examples. In this chapter, we explain when to use these methods, how to select the number of principal components or factors, how to interpret the principal components or factors and we illustrate the application of principal components in linear regressio