Evaluation of machine learning methods for direct marketing within the FMCG trade

Företag inom dagligvaruhandeln använder sig ofta av database marketing för att anpassa deras erbjudande till deras kunder och därmed stärka kundrelationen och ökaderas försäljning. Länge har logistisk regression varit en modell som ofta används för att bygga upp maskininlärningsmodeller som kan förutse vilka erbjudanden som löses in av vilken kund. I arbetet utvärderas en maskininlärningsmodell med logistisk regression och stepwise selection på kunddata från en av Sveriges större aktörer inom dagligvaruhandeln. Modellen jämförs med en annan modell som istället använder sig utav elastic net, vilket är en regulariserad regressionsmetod. Modellerna testas på fem olika produkter ur företagets sortiment och baseras på ett femtiotal variabler som beskriver kundernas sociodemografiska data och historiska köpbeteende i företagets butiker. Dessa utvärderas med hjälp av en förväxlingsmatris och värden för deras Accuracy, Balanced Accuracy, Precision, Recall och F1-score. Dessutom utvärderas modellen utifrån affärsnytta, påverkan på kundrelationer och hållbarhet. Studien visade att den logistiska regressionen med stepwise selection hade ett genomsnittligt värde för Precision på 23 procent. Vid användning av elastic net ökade värdet för Precision med i genomsnitt 7 procentenheter för samtliga modeller. Detta kan bero på att vissa av parametrarna i modellen med stepwise selection får överdrivet stora värden samt att stepwise selection väljer ut variabler för modellen som inte är optimala för att förutsäga kundens beteende. Det noterades även att kunder generellt verkade nöjda med de erbjudanden de fått, men missnöjda ifall de kände sig missförstådda av företaget.Companies within the FMCG trade often uses database marketing to customize offers to each customer, and thereby strengthen customer relationships to the company and increase their sales. For a long time, logistic regression has been the preferred machine modelling method to predict which offer to present to each costumer. This study evaluates a machinelearning model based on logistic regression and stepwise selection on costumer data from one of Sweden’s larger companies within the FMCG trade. The model is later compared to another model based on the elastic net-method, which is a regularized regressionmodel. The models are tested on five different products from the company’s assortment and are based on about fifty different variables which describes the costumers’ sociodemographic factors and purchasing history. The models are evaluated using a confusion matrix and values stating their Accuracy, BalancedAccuracy, Precision, Recall and F1-score. Furthermore, the model is evaluated in the perspectives of business advantages, costumer relations and sustainability. The study concluded that the logistic regression and stepwise selection-model had an average Precisionon 23 procent. When the elastic net-method was used the Precision increased with approximately 7 percentage points. This might depend on the fact that some of the parameters in the logistic regression-model had an overrated value and that the stepwise selection chose a subset of features that was not optimal to predict the consumer behaviour. It was also noted that costumers most often seemed content, but were dissatisfied if they felt misunderstood by the company