Distributed traffic measurement system with a peer-to-peer architecture

Mestrado em Engenharia ElectrónicaAs características do tráfego na Internet são cada vez mais complexas devido à crescente diversidade de aplicações, à existência de diferenças drásticas no comportamento de utilizadores, à mobilidade de utilizadores e equipamentos, à complexidade dos mecanismos de geração e controlo de tráfego, e à crescente diversidade dos tipos de acesso e respectivas capacidades. Neste cenário é inevitável que a gestão da rede seja cada vez mais baseada em medições de tráfego em tempo real. Devido à elevada quantidade de informação que é necessário processar e armazenar, é também cada vez maior a necessidade das plataformas de medição de tráfego assumirem uma arquitectura distribuída, permitindo o armazenamento distribuído, replicação e pesquisa dos dados medidos de forma eficiente, possivelmente imitando o paradigma Peer-to-Peer (P2P). Esta dissertação descreve a especificação, implementação e teste de um sistema de medição de tráfego com uma arquitectura distribuída do tipo P2P, que fornece aos gestores de rede uma ferramenta para configurar remotamente sistemas de monitorização instalados em diversos pontos da rede para a realização de medições de tráfego. O sistema pode também ser usado em redes orientadas à comunidade onde os utilizadores podem partilhar recursos das suas máquinas para permitir que outros realizem medições e partilhem os dados obtidos. O sistema é baseado numa rede de overlay com uma estrutura hierárquica organizada em áreas de medição. A rede de overlay é composta por dois tipos de nós, denominados de probes e super-probes, que realizam as medições e armazenam os resultados das mesmas. As superprobes têm ainda a função de garantir a ligação entre áreas de medição e gerir a troca de mensagens entre a rede e as probes a elas conectadas. A topologia da rede de overlay pode mudar dinamicamente, com a inserção de novos nós e a remoção de outros, e com a promoção de probes a super-probes e viceversa, em resposta a alterações dos recursos disponíveis. Os nós armazenam dois tipos de resultados de medições: Light Data Files (LDFs) e Heavy Data Files (HDFs). Os LDFs guardam informação relativa ao atraso médio de ida-evolta de cada super-probe para todos os elementos a ela ligados e são replicados em todas as super-probes, fornecendo uma visão simples mas facilmente acessível do estado da rede. Os HDFs guardam os resultados detalhados das medições efectuadas a nível do pacote ou do fluxo e podem ser replicados em alguns nós da rede. As réplicas são distribuídas pela rede tendo em consideração os recursos disponíveis nos nós, de forma a garantir resistência a falhas. Os utilizadores podem configurar medições e pesquisar os resultados através do elemento denominado de cliente. Foram realizados diversos testes de avaliação do sistema que demonstraram estar o mesmo a operar correctamente e de forma eficiente. ABSTRACT: The characteristics of Internet traffic are becoming more and more complex due to the large and growing diversity of applications, the drastic differences in user behaviours and the mobility of users and devices, the complexity of traffic generation and control mechanisms, and the increasing diversity of the link type and quality. In such an environment, it is inevitable that network management tasks will rely heavily on (real-time) traffic measurements. Due to the large amounts of data that need to be processed and stored, measurement platforms have to become more distributed, allowing for scattered storage, replication and efficient retrieval of measurement data, possibly mimicking the peer-to-peer (P2P) paradigm. In this dissertation we describe the specification, development and evaluation of a distributed traffic measurement system with a P2P architecture, which provide network managers with a tool to remotely configure third-party monitoring modules installed at different points of the network in order to perform test measurements. The system can also be used as a large-scale measurement infrastructure in a community-oriented network where Internet users may share some processing power and storage space of their machines to allow other Internet users (e.g. researchers) to perform measurements, to retrieve and share the obtained results. The system is based on a hierarchical overlay network organized in measurement areas. The overlay network is formed by two types of nodes, called probes and super-probes, which perform the measurements and store the measurement results. Super-probes have the specific role of providing connection among measurement areas and manage the exchange of messages between the network and the probes connected to them. The topology of the overlay network can change dynamically, with nodes being inserted and removed on-the-fly, and probes being transformed in superprobes and vice-versa, in response to changes in the available resources. The nodes collect two types of measured data: Light Data Files (LDFs) and Heavy Data Files (HDFs). LDFs store the average round-trip time from each superprobe to every element it is connected to and are replicated in all super-probes, providing a coarse but widely available view of the network status. HDFs contain the results of detailed measurements carried out at the packet or flow level and can be replicated at some nodes of the overlay network. Replications are spread over the overlay network taking into account the resources available at nodes, so as to provide high resilience to failures. Users can configure traffic measurements and search the overlay network for measurement data through the so-called client element. The various tests carried out in the system have shown that it performs correctly and efficiently