Prediktiva osäkerhetsestimat i neurala nätverk tränade med batch-normalisering

Recent developments in Bayesian Learning have made the Bayesian view of parameter estimation applicable to a wider range of models, including Neural Networks. In particular, advancements in Approximate Inference have enabled the development of a number of techniques for performing approximate Bayesian Learning. One recent addition to these models is Monte Carlo Dropout (MCDO), a technique that only relies on Neural Networks being trained with Dropout and L2 weight regularization. This technique provides a practical approach to Bayesian Learning, enabling the estimation of valuable predictive distributions from many models already in use today. In recent years however, Batch Normalization has become the go to method to speed up training and improve generalization. This thesis shows that the MCDO technique can be applied to Neural Networks trained with Batch Normalization by a procedure called Monte Carlo Batch Normalization (MCBN) in this work. A quantitative evaluation of the quality of the predictive distributions for different models was performed on nine regression datasets. With no batch size optimization, MCBN is shown to outperform an identical model with constant predictive variance for seven datasets at the 0.05 significance level. Optimizing batch sizes for the remaining datasets resulted in MCBN outperforming the comparative models in one further case. An equivalent evaluation for MCDO showed that MCBN and MCDO yield similar results, suggesting that there is potential to adapt the MCDO technique to the more modern Neural Network architecture provided by Batch Normalization.Nya framsteg i bayesiansk modellering har möjliggjort användandet av ett bayesianskt synsätt på parameterestimering till ett större spann av modeller, inklusive neurala nätverk. Framsteg inom approximationstekniker har särskilt möjliggjort utvecklingen av flera tekniker för approximativ bayesiansk modellering. Ett nyligen föreslaget tillskott till dessa modeller är Monte Carlo Dropout (MCDO), en teknik som enbart kräver att neurala nätverk tränas med dropout och L2 viktregularisering. Denna teknik erbjuder en praktisk ansats till bayesiansk modellering, vilket möjliggör estimering av värdefulla prediktiva fördelningsfunktioner från många modeller som redan används idag. De senaste åren har dock batch-normalisering etablerats som standardtekniken för minskad träningstid och ökad generalisering. Detta examensarbete visar att MCDO-tekniken kan anpassas till neurala nätverk tränade med batch-normalisering genom en teknik som i detta arbete kallas Monte Carlo Batch Normalization (MCBN). En kvantitativ utvärdering av kvaliteten på estimaten av de prediktiva fördelningsfunktionerna för olika modeller utfördes på nio regressionsdataset. Utan optimering av batch-storlek visade MCBN bättre resultat än en identisk modell med konstant varians för sju dataset med signifikansnivå 0.05. En optimering av batch-storleken för de återstående dataseten resulterade i att MCBN överträffade jämförelsemodellen i ett ytterligare fall. En likvärdig undersökning för MCDO visade att MCBN och MCDO ger liknande resultat, vilket talar för att det finns potential i att anpassa MCDO-tekniken till den mer moderna arkitekturen för neurala nätverk som ges av batch-normalisering