Time series forecast and anomaly detection at scale applied to business metrics in an ERP environment

In the business world, dashboards are a widely used analytical mechanism that helps in the decision-making process by displaying insights, key performance indicators, and business metrics. The information provided by this type of mechanism is strongly aggregated, to obtain a high level of summarization and consequently make reading easier. However, the necessary summarization causes “blind spots” to appear by hiding important information such as a sharp drop in revenue from a specific customer, seller, or product/ service. These “blind spots” make it difficult to detect potential business problems and opportunities, which depend on lengthy and thorough additional exploration. Also, the digital transformation process has resulted in a substantial increase in the number of metrics for all systems supporting the business that need to be tracked. Thus, it will be possible to anticipate actions based on the prediction of future behavior, as well as to detect any isolated or successive deviation from the expected behavior. With this dissertation, we intend to promote the acquisition of knowledge from business data through the application of Machine Learning techniques. Based on the Data-Driven Decision-Making process, we intend to propose integration into an ERP application of a mechanism to predict time-series behavior, as well as detecting and measuring possible anomalies. For dealing with a wide diversity of time series, we propose a meta-learning forecasting method that uses a classifier to identify the best forecasting method for each time series. We also propose a new intelligent metric that allows us to sort time series by the accumulated anomaly. The knowledge generated will complement the information provided by the analytical mechanisms typically present in an ERP application (including dashboards). In this way, we intend to contribute to the maximization of profits and reduction of the possibility of error or fraud, as well as waste and consequently mitigate uncertainty and reduce operational risk. Our solution should promote the need to use Machine Learning in Small and Medium Enterprises, and consequently, future implementation of AI-Driven Decision Making. AI-Driven Decision-Making purposes an assertive and automated reaction to problems or opportunities encountered, but whose study is outside the scope of this dissertation.No meio empresarial, “dashboards” são mecanismos analíticos amplamente utilizados que ajudam no processo de tomada de decisão ao exibirem insights, indicadores de desempenho (KPIs) e métricas de negócio. A informação disponibilizada por este tipo de mecanismo é fortemente agregada, de forma a obter-se um elevado nível de sumarização e consequentemente facilitar a sua consulta. No entanto, a necessária sumarização provoca o surgimento de “blind spots”, ao ocultar informação importante como, por exemplo, uma quebra acentuada de receita de um cliente, ou de um vendedor, ou de um produto/serviço específico. Estes “blind spots” dificultam a deteção de eventuais problemas e oportunidades de negócio, que ficam dependentes de uma exploração adicional demorada e minuciosa. Adicionalmente, o processo de transformação digital tem como consequência um aumento substancial do número de métricas referentes a todos os sistemas que suportam o negócio, que importa acompanhar. Desta forma, será possível antecipar ações baseadas na previsão de um comportamento futuro, bem como detetar um eventual desvio isolado ou sucessivo face ao seu comportamento espectável. Como objetivo desta dissertação pretendemos promover a obtenção de conhecimento a partir de dados de negócio, através da aplicação de técnicas de Aprendizagem Automática (“Machine Learning”). Tendo por base o processo de tomada de decisão a partir de dados (“Data-Driven Decision-Making”) pretende-se propor a integração numa aplicação ERP de um mecanismo que permita prever o comportamento futuro de séries temporais que contêm dados de negócio, bem como detetar e medir possíveis anomalias de forma a poderem ser gerados alertas. Para lidar com uma ampla diversidade de séries temporais, propomos um método de previsão de meta-aprendizagem que utiliza um classificador para identificar o melhor método de previsão para cada série temporal, e uma nova métrica inteligente que permite ordenar séries temporais pela anomalia acumulada. O conhecimento gerado irá complementar a informação disponibilizada pelos mecanismos analíticos tipicamente existente numa aplicação ERP (incluindo “dashboards”). Desta forma pretendemos contribuir para uma maximização dos proveitos e redução da possibilidade de erro ou fraude, bem como do desperdício e consequentemente mitigar a incerteza e diminuir o risco operacional. Pretende-se igualmente que a solução promova a utilização de Aprendizagem Automática em Pequenas e Médias Empresas, e consequentemente uma futura implementação de tomada de decisões a partir de Inteligência Artificial (“AI-Driven Decision Making”), onde uma reação assertiva e automatizada é despoletada, face a problemas ou oportunidades encontradas, mas cujo estudo fica fora do âmbito do presente trabalho