Ihmispalautteen sovelluksia Gaussisissa prosesseissa

Gaussian processes (GPs) are a widely established family of non-parametric models used to model latent functions in regression and classification tasks. In GPs, the prior assumptions are encoded directly in the function space by defining the prior mean and covariance of the latent function. This approach provides flexibility over parametric models, where the exact parametric form of the latent function has to be fixed even if the knowledge of the shape of the latent function is limited. This relative flexibility of GPs has made them a popular model in many disciplines. One problem with this flexibility is the relatively slow convergence of the posterior uncertainties. In practical applications, this might be an issue due to the data often being expensive to collect in time, resources, or money, which often results in the available datasets being sparse. There are two ways of solving the problem of wide posterior uncertainties caused by the sparsity of the data. The first way is to introduce new model assumptions in the form of prior belief. As GPs are defined by their prior mean and covariance, prior belief is traditionally encoded in the functional form of these or into the hyper-prior distributions of the parameters of these functions. This thesis studies new use cases for an alternative way of adding prior belief to GPs, virtual observations. Virtual observations are unobserved data that are used to encode prior assumptions, like function values or function derivative values for specific input values. Another way of solving the problem of sparsity is by collecting new data. If this is possible, the new data is often collected iteratively by querying at inputs where observations are potentially most beneficial. This work studies methods of using and gathering new types of data that are based on comparisons between data points. If the new data is provided by a human expert, data that is based on comparisons might be less noisy and unbiased than direct observations. The contributions of this dissertation are mainly methodological. The applicability of the techniques developed in this dissertation is tested with datasets from various fields but in particular, from the field of medical research. The results presented in this thesis take small steps in providing more tools for GPs to be used in practical applications with sparse datasets.Gaussiset prosessit (GP:t) on laajasti käytetty epäparametrinen malliperhe, jota käytetään latenttien funktioiden mallintamiseen regressio- ja luokittelutehtävissä. Gaussisissa prosesseissa priorioletukset koodataan funktioavaruuteen määrittelemällä latentin funktion priori kovarianssi ja keskiarvo. Tämä lähestymistapa on yleensä joustavampi kuin parametristen mallien käyttö, joissa funktion parametrinen muoto joudutaan päättämään usein puutteellisen tiedon varassa. GP:ien suhteessa suurempi joustavuus on tehnyt niistä suositun mallin monilla tieteenaloilla. Joustavuuden ongelmana kuitenkin on posterioriepävarmuuden hitaampi suppeneminen. Käytännön sovelluksissa tämä saattaa olla ongelma, sillä tietoaineistojen kerääminen on usein kallista suhteessa käytettävissä olevaan aikaan, resursseihin tai rahaan ja tästä johtuen käytettävissä olevat aineistot ovat usein harvoja. Harvojen tietoaineistojen ongelmaa voidaan ratkaista kahdella tavalla. Ensimmäinen tapa on tehdä uusia priorioletuksia. Koska Gaussiset prosessit määritellään kovarianssi- ja keskiarvofunktioilla, priorioletukset voidaan koodata suoraan niihin tai niiden parametrien priorijakaumiin. Tämä väitöskirja tarjoaa uusia tapoja priorioletusten vaihtoehtoiseen esittämiseen niin kutsuttuilla oletettuilla havainnoilla. Oletetut havainnot ovat havaitsematonta tietoaineistoa, jota käytetään havaitun aineiston tapaan priorioletuksien, kuten funktion tai sen derivaatan arvojen, koodaamiseen. Toinen tapa harvojen tietoaineistojen ongelman ratkaisemiseen on uusien havaintojen teko. Jos tämä on mahdollista, se tehdään yleensä iteratiivisesti keräämällä havainto sellaisesta sijainnista josta siitä on todennäköisimmin eniten hyötyä. Tässä väitöskirjassa tutkitaan uusien tietoaineistotyyppien keräämistä, jotka perustuvat latentin funktion arvojen vertailuun eri pisteissä. Jos tietoaineistoja kartutetaan esittämällä kysymyksiä asiantuntijalle, saattavat vertailuihin perustuvat vastaukset olla vähemmän kohinaisia ja vinoutuneita kuin suorat arviot latentin funktion arvosta. Tämän väitöskirjan kontribuutiot ovat suurelta osin menetelmällisiä. Kehitettyjä menetelmiä testattiin eri tieteenaloilta, ja erityisesti lääketieteellisestä tutkimuksesta, peräisin oleviin tietoaineistoihin. Väitöskirjassa esitetyt tulokset ovat pieniä lisäaskelia Gaussisten prosessien soveltamiseen entistä pienemmillä tietoaineistoilla