Explainability of Machine Learning in Forecasts for Retail Sales Campaigns

Explainable artificial intelligence is a growing field which is becoming increasingly important as machine learning is more integrated in businesses and various functions in society. A rising concern is the lack of transparency in decision-making processes for a substantial number of machine learning models. The objective of the study was to evaluate to what extent white-box decision tree models were able to attain explainability of a black-box stacking ensemble model used for demand forecasting within the food retail industry. Two approaches were investigated, namely ante-hoc, which substitutes the black-box, and post-hoc, which complements the underlying black-box with a surrogate. Model performance was measured in MAE and MAPE, whilst Shapley values represented feature importance. Furthermore, the study aimed to define aspects important for facilitating trust in forecasts through interviews with business stakeholders. The results from the ante-hoc and post-hoc investigations showed that their respective best performing white-box model scored unsatisfyingly 84 in MAE and 107% MAPE, and 40 in MAE and 25% MAPE. Additionally, no white-box model successfully replicated the feature importance of the underlying black-box model in the post-hoc approach. In conclusion, all white-box models were deemed inadequate as either substitutes or surrogates to the black-box model. Finally, insights from the interviews found the decision tree model applicable as an explanatory tool for black-box models, and the identified trust aspects were: Communication, language, and technical vocabulary; Congruence between stakeholders; Forecast variables and underlying assumptions. Förklarbar artificiell intelligens är ett växande område som blir alltmer betydelsefullt i takt med att maskininlärning tillämpas mer i företag och olika samhällsfunktioner. Ett problem som blir allt viktigare är bristen på transparens i beslutsprocesserna hos ett stort antal maskininlärningsmodeller. Syftet med studien var att utvärdera i vilken utsträckning olika white-box decision tree-modeller kunde förklara en black-box stacking ensemble-modell som prognosticerar efterfrågan inom dagligvaruhandeln. De två tillvägagångssätten som undersöktes var ante-hoc, i vilken black-box-modellen substitueras, samt post-hoc, vilken kompletterar den underliggande black-box-modellen med en surrogatmodell. Modellprestanda utvärderades med felmåtten MAE och MAPE, medan Shapley-värden representerade särdragens påverkan. Vidare syftade studien till att definiera aspekter som är viktiga för att underlätta tillit för prognoser genom intervjuer med intressenter inom ett företag. Resultaten från ante-hoc- och post-hoc-undersökningarna visade att deras respektive bäst presterande white-box-modell åstadkom otillfredsställande värden; 84 i MAE och 107% MAPE, samt 40 i MAE och 25% MAPE. Därtill lyckades ingen white-box-modell replikera särdragens påverkan hos den underliggande black-box-modellen i post-hoc-metoden. Sammanfattningsvis bedömdes samtliga white-box-modeller vara inadekvata för tillämpning som substitut eller surrogat till black-box-modellen. Slutligen, utifrån insikter från intervjuerna, ansågs decision tree-modellen vara ett användbart hjälpmedel för att förklara black-box-modeller, och de identifierade tillitsaspekterna var: Kommunikation, språk och tekniskt språkbruk; Samförstånd mellan intressenter; Prognosvariabler och underliggande antagande