Skattning av prediktionsintervall med maskininlärning och Monte Carlo metoder för reklam på nätet

Online advertising presents a complex environment. The vast amount of available websites, platforms and formats as well as the trend of programmatic adpurchasing makes assessing a proposed advertisement in terms of cost and expected return challenging. This paper uses machine learning to predict cost per thousand impressions (CPM), a measure of advertising efficiency, for a planned purchase. Feedforward neural networks and random forest models were compared on their ability to produce CPM point estimates and prediction intervals. To estimate prediction intervals, Monte Carlo dropout and noise estimation was employed for the neural network models. For random forest, a Monte Carlo approach where a large number of models were parameterized using bootstrap sampling was employed. Implemented algorithms were compared using the 5x2cv test. Random forest and neural network models produced similar point estimation accuracy. To obtain valid prediction intervals in terms of coverage probability for the random forest algorithm, hyperparameters had to be adjusted to increase the tree-level variance. This negatively affected the accuracy of point estimates and the random forest prediction intervals were less optimal than those produced by the neural network algorithm. This difference in performance was statistically supported by the 5x2cv test. It is concluded that both evaluated random forest and neural network algorithms for prediction intervals produced valid intervals although neural network estimates were more optimal.Reklam på nätet är en komplex miljö. Mängden hemsidor, plattformar och format såväl som trenden med programmatiska reklamköp gör det svårt att utvärdera planerad reklam beträffande förväntad kostnad och värde. Den här rapporten använder maskininlärning för att prediktera kostnaden för tusen visningar (CPM), ett mått på annonseringseffektivitet, för ett planerat reklamköp. Random forest och neurala nätverksmodeller jämfördes med avseende på deras förmåga att producera punktskattningar och prediktionsintervall. För att skatta prediktionsintervall för neurala nätverk användes Monte Carlo dropout och skattning av datamängdens brusnivå. För random forest användes en Monte Carlo metod där ett stort antal modeller parametriseras med bootstrapping. Implementerade algoritmer jämfördes med 5x2cv test. Random forest och neural nätverksmodellerna producerade liknande precision för punktskattningar. För att erhålla giltiga prediktionsintervall avseende täckningssannolikhet för random forest krävdes det att parametrar justerades för att öka de enskilda beslutsträdens varians. Detta påverkade precisionen för punktskattningar negativt och prediktionsintervallen för random forest var mindre optimala än de som skattades av neurala nätverksalgoritmen. Denna skillnad i förmåga att skatta prediktionsintervall bekräftades statistiskt av 5x2cv testet