Data storages for real time monitoring of big networks

As operadoras de rede atualmente sentem a necessidade de monitorar em tempo real o desempenho fim a fim de suas redes (ex.: vazão de dados, qualidade da experiência do usuário, taxa de perda de pacotes, etc.). O problema enfrentado é o baixo desempenho de bancos de dados relacionais frente à grande quantidade de dados que é adquirida nos testes de monitoramento. Nesse contexto, têm surgido novos tipos de banco de dados que conseguem lidar com essas quantidades massivas de dados, e permitem que se construam aplicações de visualização destes dados em tempo quase real. O objetivo desse trabalho será comparar algumas dessas soluções de armazenamento de dados – seu funcionamento e suas implicações – neste caso, uma solução relacional tradicional – o PostgreSQL – versus uma especializada – time series databases – representado aqui pelo InfluxDB. Para isso serão definidas métricas e será efetuada uma implementação de método de teste para que sejam analisadas as soluções.Nowadays, network operators are feeling the need for real time monitoring of end-to-end performance from their networks (e.g.: data throughput, quality of experience, lost packets percent, etc.). But a frequent problem of using this approach is the low performance of common relational database solutions facing the enormous quantity of data generated by such measurements. On that aspect, the database market is offering new types of data storage solutions that promise to handle such challenges, making new ways to build real time monitoring applications on top of them. The main objective of this work is to verify some of these solutions, compare some of their characteristics, and, after ruling out most of them, it will take two solutions to a proper benchmark. One of them will be a relational database – PostgreSQL, and another one will be a non-relational solution – InfluxDB. In order to make things work out, this article will define some metrics, use them to implement a benchmark method, and finally show the benchmark results to analyze both solutions