Transfer Learning for Sales Volume Forecasting Using Convolutional Neural Networks

Improved time series forecasting accuracy can enhance demand planning, and therefore save money and reduce environmental impact. The idea behind this degree project is to explore transfer learning for time series forecasting. This has boiled down to two concrete goals. The first one is to examine if transfer learning can improve the forecasting accuracy when using a convolutional neural network (CNN) with dilated causal convolutions. The second goal is to investigate whether transfer learning makes it possible to forecast time series with less historical data.In this project, time series describing sales volume and price from three different consumer appliances are used. The length of the time series is about three years. Two transfer learning techniques are used: shared-hidden-layer CNN and pre-training. To tackle the first goal, the two transfer learning techniques are benchmarked against a CNN. The second goal is investigated conducting an experiment where the training set size varies for both a CNN and the two transfer learning techniques.The results from the first experiment indicate that transfer learning neither increase nor decrease forecasting accuracy. Interestingly, the second experiment however show that only 60 % (40 % for the SHL-CNN) of training samples is optimal for all models. This goes against the intuition that more training data leads to better model performance and this is most likely a phenomenum related specifically to time series forecasting. However, the percentage of 60 % most likely is application specific, we also find that pre-training, from any of the other products, improves the forecasting accuracy. Finally, reducing the training set further (20 % of training samples) affect the model differently. One pre-training model performs better than the rest, which perform very similar. This indicates that there are cases when transfer learning allows for forecasting smaller time series. However, further studies are required to establish how general these observations are.Bättre tidsserieprediktion kan förbättra planering av en försörjningskedja, därmed spara pengar och minska miljöpåverkan. Tanken bakom detta examensprojekt är att utforska transfer learning för prognos av tidsserier. Detta resulterar i två konkreta mål. Det första är att undersöka hur transfer learning kan förbättra prognosnoggrannheten när ett faltningsnätverk (CNN) med utvidgning och kausalitet används. Det andra målet är att undersöka om transfer learning gör det möjligt att förutspå tidsserier med mindre historisk data. De använda tidsserierna består av försäljningsvolymer och priser från tre hushållsapparater av samma slag. Tidsseriernas längd är cirka tre år. Två transfer learning tekniker används: delade dolda lager CNN (SHL-CNN) och förträning av ett CNN.För att ta itu med det första målet, så jämförs prognosnoggrannheten mellan de två transfer learning teknikerna och ett CNN. Det andra målet undersöks genom ett experiment där storleken av träningsuppsättningen varieras för ett CNN och de båda transfer learning teknikerna.Resultat ifrån det första experimentet indikerar att transfer learing varken försämrar eller förbättrar prognosnoggrannheten. Det andra experimentet visar att när antalet träningsexempel minskas till 60 % (40 % för SHL-CNN) så förbättras prediktionerna för alla modeller. Detta är inte intuitivt och är sannolikt ett fenomen specifikt för prediktion av tidsserier. Vidare så är proportionen 60 % specifik för detta projekt och vi finner även att vid denna proportion så är prediktionerna från förträning bättre än de från faltningsnätverket. Den sista upptäckten är att när antalet träningsexempel krymper till 20 % så presterar förträningsmodellen bättre än de andra. Detta pekar på att transfer learning i vissa fall kan göra det möjligt att förutspå tidsserier med mindre historisk data