Exploring traffic matrix patterns to classify scale-free network applications

Orientador: Luis C. E. BonaCoorientador: Celio TroisDissertação (mestrado) - Universidade Federal do Paraná, Setor de Ciências Exatas, Programa de Pós-Graduação em Informática. Defesa : Curitiba, 23/08/2021Inclui referênciasÁrea de concentração: Ciência da ComputaçãoResumo: A evolução da computação e das redes de computadores permitiu a interconexão de vários computadores, agregando seus poderes de processamento para formar arquiteturas de computação de alto desempenho (HPC). As aplicações executadas nesses ambientes computacionais processam e comunicam grandes quantidades de informações, levando várias horas ou até dias para concluir suas execuções. Portanto, entender suas demandas de computação e comunicação é essencial para fins de gerenciamento. Embora a maioria das aplicações HPC sejam implementadas com algoritmos conhecidos que tendem a seguir um determinado padrão em computação e comunicação, os métodos clássicos de análise de tráfego não são precisos para classificá-los. Nesse sentido, argumentamos que observar e entender os padrões visuais nas matrizes de tráfego (TMs) dessas aplicações pode fornecer um método de classificação preciso. Neste trabalho, propomos o SCTReco (Scale Free Traffic matrices Recognition), um framework que mantém um banco de dados com características visuais extraídos dessas TMs e aplica técnicas de aprendizado de máquina e aprendizado profundo para classificar as aplicações HPC que estão consumindo a rede, independentemente do número de nós computacionais que a executam. O modo de classificação do SCTReco usa algoritmos de pré-processamento, extratores de características e classificadores de Aprendizado de Máquina (ML). Equipamos o framework com os conhecidos classificadores Random Forest (RF) e Support Vector Machine (SVM); como extrator de características são usados o Padrão Binário Local Uniforme (ULBP), Padrão Binário Local Robusto (RLBP), Matriz de Coocorrência em Nível de Cinza (GLCM) e Análise de Componente Principal (PCA); e pré-processando as TMs com interpolação do vizinho mais próximo, desfoque gaussiano, recorte e dilatação. Com essa abordagem, SCTReco pôde ser treinado com TMs de 128 nós e reconheceu três aplicativos HPC reais executados em 256 nós de computação com 99,76% de precisão e 85,23% reconhecendo TMs de 512 nós de computação.Abstract: The evolution of computing and computer networking allowed multiple computers to be interconnected, aggregating their processing powers to form High-Performance Computing (HPC) architectures. Applications running in these computational environments process and communicate huge amounts of information, taking several hours or even days to complete their executions. So, understanding their computation and communication demands is essential for management purposes. Although most HPC applications are implemented with known algorithms that tend to follow a certain pattern in computing and communication, classical traffic analysis methods are not accurate to classify them. In this context, we argue that observing and understanding the visual patterns in the traffic matrices (TMs) of these applications can provide an accurate classification method. In this work, we propose SCTReco (Scale Free Traffic matrices Recognition), a framework that maintains a database with visual characteristics extracted from these TMs and applies machine learning techniques to classify the HPC applications that are consuming the network, regardless of the number of computational nodes that execute it. SCTReco's classification mode uses preprocessing algorithms, feature extractors, and Machine Learning (ML) classifiers. We equipped the framework with the well-known classifiers Random Forest (RF) and Support Vector Machine (SVM); using as feature extractor the Uniform Local Binary Pattern (ULBP), Robust Local Binary Pattern (RLBP), Gray-Level Co-occurrence Matrix (GLCM), and Principal Component Analysis (PCA); and preprocessing the TMs with nearest neighbor interpolation, Gaussian blur, crop and dilation. With this approach, SCTReco could be trained with TMs of 128 nodes and recognized three real HPC applications executed in 256 computing nodes with 99.76% of accuracy, and 85.23% recognizing TMs of 512 computing nodes