Gaussian mixture model

Model Gaussovih mješavina često se pojavljuje u raznim znanstvenim istraživanjima. Mješavina je populacija koja se sastoji od komponenata čije vjerojatnosne distribucije mogu, ali ne moraju nužno, pripadati istoj familiji distribucija. U ovom smo radu proučavali Gaussove mješavine čiji je broj komponenata konačan i unaprijed poznat. Za takve mješavine konstruirali smo model tako što smo procijenili distribucijske parametre svake komponente pa komponentama pridružili opažanja. Koristili smo metode procjene parametara iz teorije frekvencionističke i Bayesovske statistike koje su na kraju i objedinjene algoritmom maksimizacije očekivanja (EM algoritam). Svaki model mješavine potrebno je prilagoditi dostupnim informacijama o populaciji. Najjednostavniji slučaj koji modeliramo je kada su poznate gustoće komponenata pa im još preostaje pridružiti jedinke korištenjem Bayesovog naivnog klasifikatora. Ako su gustoće komponenata nepoznate, ali je poznata realizacija pridruživanja svakog opažanja, potrebno je samo procijeniti parametre gustoća. U tom smo slučaju procjenu proveli metodom maksimalne vjerodostojnosti kao i Bayesovom metodom. Za zadnji slučaj smo ostavili primjer populacije za koju unaprijed ne znamo niti parametre gustoća komponenata niti realizaciju pridruživanja jedinki. Taj je problem jednostavno riješen pomoću EM algoritma koji je u radu teorijski objašnjen, ali i realiziran na stvarnoj populaciji. Proces modeliranja Gaussovih mješavina ilustrirali smo na populaciji tri vrste pingvina i pritom za svaku jedinku odredili pridruživanje pomoću EM algoritma. Model smo izrazili kao linearnu kombinaciju višedimenzionalnih normalnih gustoća čije smo parametre procijenili.Gaussian mixture model occurs commonly in various scientific research. A mixture is a population that consists of components whose probability distributions could, but should not necessarily, belong to the same family of distributions. This thesis studies Gaussian mixtures whose number of components is finite and known in advance. For those mixtures, we constructed a model in a way that the distribution parameters were estimated and observations were assigned to the components. Parameter estimation methods that were used come both from frequentist and Bayesian statistics and are consolidated with the Expectation–Maximization algorithm (the EM algorithm). Each mixture model should be adjusted according to the available information on the population. The simplest case that is modelled is the one where densities of the components are known and only allocation of the observation remains. Allocation is conducted by using the naıve Bayes classifier. In the case where component densities are unknown and the allocation of the observations is known, only parameter estimation is required. Unknown parameters are estimated by using the method of maximum likelihood estimation along with the Bayesian method of estimation. The last studied case is the example of a population for which both the component parameters and the allocation is unknown. That problem is easily solved by using the EM algorithm which is in this thesis theoretically explained and implemented on the real–life population. The process of modelling Gaussian mixtures is illustrated on the population of three penguin species for which all the units are allocated to the components by using the EM algorithm. The model is given as a linear combination of multivariate normal distributions whose parameters were estimated