Gaussin prosessi -surrogaattimenetelmiä likimääräiseen Bayesilaiseen päättelyyn

In many application fields such as ecology, epidemiology and astronomy, simulation models are used to study complex phenomena that occur in nature. Often the analytical form of the likelihood function of these models is either unavailable or too costly to evaluate which complicates statistical inference. Likelihood-free inference (LFI) methods such as approximate Bayesian computation (ABC), based on replacing the evaluations of the intractable likelihood with forward simulations of the model, have become a popular approach to conduct inference for simulation models. Nevertheless, current LFI methods feature several computational and statistical challenges. Especially, standard ABC algorithms require a huge number of simulations which makes them infeasible when the forward simulations are expensive. This thesis deals with likelihood-free inference for computationally costly models. The main contribution is a coherent framework for LFI based on Gaussian process (GP) surrogate models. GP models allow to encode smoothness assumptions of the simulation model output to reduce the amount of simulations needed. Additionally, the uncertainty in the resulting model-based posterior approximations due to the limited simulation budget can be quantified. We develop Bayesian experimental design strategies to select the evaluation locations as to minimise the computational cost. Both sequential designs, where simulations are chosen one-at-a-time basis, and batch strategies, which allow to take advantage of parallel computing, are derived. In addition to the LFI scenario, the proposed methods also apply when the likelihood can be evaluated but is expensive. In essence, the proposed framework can be viewed as an LFI counterpart of probabilistic numerical methods such as Bayesian optimisation, developed for optimising expensive objective functions, and Bayesian quadrature, developed for computing integrals of expensive functions. We demonstrate the advantages of the proposed LFI methods using extensive empirical simulations. Some theoretical analysis of the proposed algorithms is also provided and their relation to some other GP surrogate methods are discussed. In addition to the contributions to statistical methodology, applications in population genomics are also considered. In particular, we use the GP-based ABC methodology to obtain an approximate posterior of a simulation model describing horizontal gene transfer in bacteria. We also develop a probabilistic model and an inference algorithm using a novel combination of ABC and Metropolis-within-Gibbs sampling to facilitate better understanding of bacterial colonisation.Monilla sovellusaloilla, kuten ekologia, epidemiologia ja tähtitiede, monimutkaisia luonnonilmiötä tutkitaan simulaatiomallien avulla. Usein tällaisiin malleihin liittyvä uskottavuusfunktio ei ole analyyttisesti käsiteltävissä tai se on laskennallisesti liian raskas evaluoida, mikä hankaloittaa tilastollista päättelyä. Uskottavuusvapaasta päättelystä (likelihood-free inference, LFI), kuten likimääräinen Bayesilainen päättely (Approximate Bayesian computation, ABC), joka perustuu siihen että hankalasti käsiteltävän uskottavuusfunktion evaluoiminen voidaan periaatteessa korvata suoraan simuloimalla mallista, on tullut suosittu tekniikka tilastolliseen päättelyyn tällaisille malleille. Nykyisiin LFI-menetelmiin liittyy kuitenkin laskennallisia ja tilastollisia haasteita. Erityisesti perusmuotoiset ABC-algoritmit vaativat suuren määrän simulointeja mistä syystä niitä ei voi käyttää silloin kun simuloinnit ovat laskennallisesti raskaita. Tässä väitöskirjassa tarkastellaan uskottavuusvapaata tilastollista päättelyä laskennallisesti raskaille malleille. Työn merkittävin kontribuutio on Gaussin prosessi -surrogaattimalleihin (Gaussian process, GP) perustuva johdonmukainen LFI-tekniikka. GP-mallit mahdollistavat sileysoletusten käyttämisen simulaatioiden määrän vähentämiseen. Lisäksi rajallisesta simulaatiomäärästä johtuvaa epävarmuutta posteriorijakauman laskemisessa itsessään pystyy näin myös arvioimaan. Väitöskirjassa kehitetään Bayesilaiseen koesuunnitteluun perustuvia strategioita evaluaatiopisteiden valintaan niin että laskennallinen vaativuus minimoituu. Työssä johdetaan sekä sekventiaalisia menetelmiä, joissa simulaatiot valitaan yksi kerrallaan, että batch-menetelmiä, jotka mahdollistavat simulointien suorittamisen rinnakkaislaskentana. LFI:n lisäksi kehitetyt menetelmät soveltuvat myös kun uskottavuusfunktio voidaan evaluoida mutta se on laskennallisesti raskasta. Väitöskirjassa ehdotetun lähestymistavan voi nähdä probabilististen numeeristen menetelmien vastineena LFI:lle, samaan tapaan kuin Bayesilainen optimointi on puolestaan kehitetty laskennallisesti raskaiden funktioiden optimointiin ja Bayesilainen kvadratuuri laskennallisesti raskaiden funktioiden integrointiin. Kattavia empiirisiä simulointeja käytetään työssä kehitettyjen LFI-menetelmien etujen näyttämiseen. Väitöskirjassa tutkitaan ehdotettuja algoritmeja myös teoreettisesti ja puidaan niiden yhteyksiä eräisiin muihin GP-surrogaattimenetelmiin. Tilastollisiin menetelmiin liittyvien kontribuutioiden lisäksi työssä tutkitaan populaatiogenomiikkaa. GP-pohjaista ABC-menetelmää käytetään likimääräisen posteriorijakauman laskemiseksi bakteerien horisontaalista geeninsiirtoa kuvaavalle simulaatiomallille. Lisäksi työssä kehitetään todennäköisyyspohjainen malli sekä päättelyalgoritmi, joka yhdistää ABC:n ja Metropolis-within-Gibbs-näyttäistysalgoritmin, bakteerikolonisaation ymmärtämiseksi