Resource Usage Forecast

Dissertação de Mestrado em Engenharia e Ciência de Dados apresentada à Faculdade de Ciências e TecnologiaAs telecomunicações são uma das partes mais fundamentais da nossa base diária, e por isso, crescem a um ritmo muito elevado. Por conseguinte, a infraestrutura de hardware e ‘software’ de telecomunicações precisa de satisfazer esta procura e adaptar-se a qualquer situação. Para o cumprir, um dos métodos para otimizar os serviços de telecomunicações é a previsão da utilização de recursos para satisfazer a procura do cliente e reduzir as infraestruturas custos. A AlticeLabs desenvolveu e desenvolveu nas últimas duas décadas uma solução para o controlo e cobrança em tempo real dos serviços de telecomunicações, que no início se chamava NGIN - Next Generation Intelligent Network. Este trabalho explorou a investigação existente que cumpre objetivos semelhantes em contemplação com a previsão de recursos. Foram estudados dois métodos de previsão, a previsão tradicional de séries cronológicas e a adaptação da aprendizagem de máquinas à previsão de um recurso selecionado com base no resto das características fornecidas pelo AlticeLabs. Para cada modelo, diferentes tamanhos de formação e hiper-parâmetros foram sistematicamente experimentados para se conseguir um erro menor com menor tempo de formação. O melhor modelo em geral foi a Média Móvel Integrada Sazonal Autoregressiva (SARIMA), que atingiu uma Média Absoluta Global Erro percentual (MAPE) para todas as máquinas no sítio do CPN de 10,69%. Esta dissertação provou que a previsão pode ser feita usando algoritmos tradicionais de séries temporais assumindo que o valor futuro está relacionado com o padrão histórico ou adaptações de aprendizagem da máquina, assumindo que os valores de previsão estão correlacionados com variáveis. Ao prever a carga da CPU utilizando Memória de Curto Prazo Longo (LSTM) ou SARIMA resultou num erro menor em comparação com o Triple Exponential Smoothing ou Holt Winters (TES). Como esperado para a LSTM usando múltiplas características, em vez de apenas os dados alvo, resulta numa média de 0,21% de diminuição do erro. Ao comparar métodos com previsão de valores futuros relacionados com padrões históricos, SARIMA tem melhor desempenho em comparação com a TES. Enquanto no caso da SARIMA as observações passadas são igualmente ponderadas, funções exponenciais como a TES são utilizadas para atribuir pesos exponencialmente decrescentes temporalmente. Ao analisar o melhor modelo TES, SARIMA, e LSTM sobre a média de todas as máquinas no sítio CPN, SARIMA resulta numa melhoria de 1,3% quando comparado à TES e uma melhoria de 0,64% em comparação com a LSTM. Os objectivos desta dissertação foram alcançados através do desenvolvimento de um quadro de previsão que começa pelo pré- processamento de dados, aplicando os modelos de previsão mais adequados, e carregando-os para um painel de instrumentos utilizando uma ferramenta de visualização.Telecommunication is one of the most fundamental parts of our daily basis, so it proliferates. Therefore the telecommunication hardware and software infrastruc- ture must fulfill this demand and adapt to any situation. To comply with that, one of the methods to optimize telecom services is by forecasting resource usage to meet the client’s demand and reduce infrastructural costs. AlticeLabs, over the past two decades, has developed and evolved a solution for real-time control and charging of telecommunications services. At the start, it was called the NGIN - Next Generation Intelligent Network. This work has explored existing research that meets similar goals to the resource forecast. Two forecasting methods were studied, traditional time series forecasting and machine learning adaptation to forecast one selected resource based on the rest of the features provided by Altice- Labs. For each forecasting model, different training sizes and hyperparameters were systematically experimented with to achieve a lower error with lower training time. The best model overall was Seasonal Autoregressive Integrated Moving Average (SARIMA) which has reached an overall Mean Absolute Percentage Error (MAPE) for all machines at the CPN site of 10.69%. This dissertation proved that forecasting could be done using traditional time series algorithms assuming that future value is related to the historical pattern or machine learning adaptations assuming the predicting values correlate with variables. When forecasting CPU Load using Long Short-Term Memory (LSTM) or SARIMA resulted in a lower error compared to Triple Exponential Smoothing or Holt-Winters (TES). As expected for LSTM, using multiple features instead of just the target data results in a mean of 0.21% decrease in error. When comparing methods to forecast future values related to history patterns SARIMA perform better compared to TES. Whereas in the case of SARIMA, the past observations are weighted equally, exponential functions like TES are used to assign exponentially decreasing weights over time. When analyzing the best TES, SARIMA, and LSTM model on the mean for all machines at CPN site SARIMA results in an improvement of 1.3% when compared to TES and an improvement of 0.64% when compared to LSTM. The goals of this dissertation were achieved by developing a forecasting framework that starts by pre-processing data, applying the best-suited forecasting models, and uploading them into a dashboard using a visualization tool.Outro - This work is funded by the project POWER (grant number POCI-01-0247-FEDER070365), co-financed by the European Regional Development Fund (FEDER), through Portugal 2020 (PT2020), and by the Competitiveness and Internationalization Operational Programme (COMPETE 2020