Autoregressive Normalising Flows for Density Estimation and Variational Inference: A proper introduction and a novel flow

I denne oppgaven presenterer vi en klasse med modeller kalt "normalising flows". Dette er en klasse med modeller som drar nytte av fleksibiliteten og de beregningsmessige fordelene som tilbys av det moderne dyp lærings-paradigmet, og bruker det til å definere et generelt rammeverk for modellering av fleksible og høy-dimensjonale sannsynlighetstettheter. Vi motiverer bruken av normalising flows gjennom å argumentere med at modellering av fleksible sannsynlighetsfordelinger har anvendelser innenfor et bredt spekter av statstikk- og maskinlærings-problemer. Vi retter fokuset vårt spesielt mot tetthetsestimering og tilnærmet Bayesisk inferens. Som en del av introduksjonen til normalising flows, gjennomfører vi et sett med eksperimenter med en "planar flow", med mål om å hjelpe leseren med å bygge intuisjon for normalising flows. Videre gir vi en tydelig innføring i feltet "autoregressive normalising flows", som kombinerer klassisk autoregressive modellering med moderne normalising flow. Dette har lenge vært en av de mest innflytelsesrike klassene med modeller i litteraturen om normalising flows. Vi gir en sammenhengende presentasjon av de nødvendige konseptene for å sette seg inn i denne litteraturen, inkludert å fylle inn noen detaljer om Gaussisk MADE som ser ut til å mangle i den øvrige litteraturen. Videre presenterer vi tre autoregressive flows: inverse autoregressive flow (IAF), masked autoregressive flow (MAF), og Real NVP, og sammenligner dem, med vekt på deres relative styrker og svakheter. Kraftig inspirert av to av de presenterte modellene, masked autoregressive flow og Real NVP, foreslår vi en ny flow som egner seg til tetthetsestimering og gir den navnet hybrid autoregressive flow. Vi gjennomfører en rekke eksperimenter med modellene MADE, Real NVP, og MAF, og lykkes med å gjenskape resultater fra flere av de mest innflytelsesrike artiklene i litteraturen. Til slutt gjennomfører vi eksperimenter med vår foreslåtte flow, og sammenligner den med eksisterende modeller i et standardisert eksperimentelt oppsett. Den nye flowen viser lovende ytelse i disse innledende eksperimentene, og gjør det bedre enn de andre modellene i et av eksperimentene. Mer empirisk materiale er nødvendig for å kunne trekke noen sikre konklusjoner om den foreslåtte modellen. Avslutningsvis oppsummerer vi oppgaven og diskuterer hvordan hybrid autoregressive flow bør testes videre. Helt til slutt peker vi ut noen mulige retninger for fremtidig forskning på normalising flows