Deteção de Anomalias na Conectividade Gerida M2M

Dissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e TecnologiaConsiderando o contexto das telecomunicações, soluções Machine-To-Machine (M2M) servem de suporte para comunicações entre dispositivos na rede móvel (p.e., smartphones, contadores de luz, entre outros smart devices), permitindo a gestão da sua conectividade e serviços associados. Muitas empresas e seus negócios estão dependentes do normal funcionamento deste tipo de equipamentos e qualquer interrupção ou indisponibilidade de serviços pode implicar custos adicionais ou quebras na infra-estrutura de negócio. A fiabilidade deste tipo de sistemas é crucial. A possibilidade de detetar qualquer atividade anómala em near real-time que possa por em causa o normal funcionamento destes sistemas é uma funcionalidade que atribui vantagens consideráveis a soluções M2M. Em particular, este estudo tem como foco a evolução da plataforma Smart2M Managed Connectivity, que já faz parte do portfólio da empresa Altice Labs. Enquanto prova de conceito, propõe-se o desenvolvimento de um Serviço de Detecção de Anomalias (ADS), apresentando-se como um novo módulo para detectar e notificar (quase em tempo real) situações consideradas anómalas, permitindo uma intervenção rápida e consequente redução de efeitos nocivos nos negócios dos clientes. Numa rede móvel, Call Detail Records (CDRs) são dados que nos permitem descrever em detalhe a atividade de determinado equipamento numa sessão de comunicação (p.e., contacto de origem e destino, duração da chamada, tipo de chamada, serviço utilizado, valores de consumo), permitindo assim monitorar a atividade através do reconhecimento de padrões de comportamentais regulares e irregulares. Assim, os principais objetivos do sistema são reconhecer os diferentes padrões de atividade existentes e detectar anomalias, definindo e caracterizando perfis de comportamento regular. Os métodos Hierarchical Clustering e K-Means são considerados para a segmentação de padrões de atividade, e o Interquartile Range (IQR) e Isolation Forest para deteção de anomalias. Este sistema híbrido identifica o comportamento anómalo comparando os valores de diferentes indicadores-chave de desempenho (p.e., volume de consumo, tempo, eventos) com os valores do respectivo padrão de atividade. Os objetivos deste estágio são alcançados com sucesso através da concepção de uma prova de conceito, consistindo no desenvolvimento de um Serviço de Deteção de Anomalias que, através da seleção de métricas de desempenho como F1-Score (i.e, média ponderada entre precisão e recall) e taxa de Falsos Positivos, alcançou resultados e níveis de desempenho muito promissores, considerando um F1-Score elevado (cerca de 95%) e uma taxa de Falsos positivos consideravelmente baixa (<1%). Fundamentalmente, este sistema integra um novo módulo aplicacional independente (ADS) que, em um futuro ambiente de produção, pode ser subscrito como um Plugin por clientes Smart2M que desejem monitorar a atividade dos seus equipamentos. O foco deste ADS está sobre a garantia de qualidade, segurança e disponibilidade de serviços de telecomunicações. Considerando o valor que este traz para a empresa, a introdução estratégica desta nova funcionalidade torna a sua solução mais competitiva e garante uma melhor experiência de utilização ao seus clientes.Considering the context of telecommunications, a Machine-To-Machine (M2M) solution supports communications between devices on a mobile network (e.g., mobile phones, electricity meters, and smart devices), enabling the management of their connectivity and associated services. Many companies and businesses are dependent on the regular operation of this type of equipment, and any service interruption or unavailability may imply additional costs or disruptions in the business infrastructure. The reliability of these systems is crucial. The possibility of detecting anomalous activity in near real-time that could jeopardize the normal functioning of these systems is a feature that gives considerable advantages to M2M solutions. In particular, this study focuses on the evolution of the Smart2M Managed Connectivity platform, which is already included in the portfolio of the company Altice Labs. As a proof of concept, the development of an Anomaly Detection Service (ADS) is proposed, presenting itself as a new module to detect and notify (in near real-time) situations considered to be anomalous, allowing for quick intervention and consequent reduction of harmful effects on the customers' businesses. In a mobile network, Call Detail Records (CDRs) are data that allow us to describe in detail the activity of a given equipment in a communication session (e.g., phone numbers, call duration, type of call, service used, consumption values), thus allowing to monitor it by recognizing regular and irregular activity patterns. Therefore, the system's main objectives are recognizing the different activity patterns existent and detecting anomalies, defining and characterizing profiles of regular behavior. The Hierarchical Clustering and K-Means methods are considered for the segmentation of activity patterns, and the Interquartile Range (IQR) and Isolation Forest for anomaly detection. This hybrid system identifies anomalous behavior by comparing the values of different Key Performance Indicators (e.g., consumption volume, time, events) with the values of the respective activity pattern. The objectives of this internship are successfully achieved with a proof of concept being carried out, which consisted in the development of an ADS that, through the selection of performance metrics such as F1-Score (i.e., weighted average between precision and recall) and False Positive Rate, achieved very promising results and performance levels, considering a high F1-Score (about 95%) and a low False Positive Rate (< 1%). In essence, this system integrates an application module that acts as an independent Anomaly Detection Service that, in a future production environment, can be subscribed as a Plugin by Smart2M customers who wish to monitor the activity of their equipment. The focus of this ADS is on quality assurance, security, and availability of telecommunications services. Considering the value it brings to the company, the strategic introduction of this new functionality keeps its solution more competitive and ensures a better user experience