Uma arquitetura para detecção adaptativa e rápida prevenção de ameaças

The late detection of security threats causes a significant increase in the risk of irreparable damages, disabling any defense attempt. We propose a fast and adaptive Threat Detection and Prevention Architecture based on stream processing and machine learning algorithms. The proposed architecture combines the adaptability of online trained machine learning algorithms with the efficiency of batch trained methods. We create a dataset by capturing both legitimate and malicious traffic and compare two ways of combining packets into flows, one gathering all packets in a time window and the other analyzing only the first few packets of each flow. Besides our created dataset, we also analyze our proposal on real data composed of fixed-broadband Internet user traffic from one of the major Brazilian network operators. In order to evaluate our detection architecture, we develop five classification algorithms and two anomaly detection methods. In fact, the proposed architecture provides adaptability to new traffic behavior and achieves a high accuracy rate and a good trade-off between attack detection and false positive rate in anomaly detection. We further propose an improved scheme, based on Software Defined Networks, that automatically prevents threats by only analyzing the first few packets of a flow. The proposal promptly and efficiently blocks threats, is robust, and can scale up, even on scenarios in which the attacker employs spoofed IP address. Moreover, we evaluate the scalability, by increasing the number of stream processing cores and allocating more resources to sensor elements. The results shows an accuracy higher than 90% and threat detection time of four microseconds, which promptly enables counter measures.A detecção tardia de ameaças aumenta significativamente o risco de danos irreparáveis, desabilitando qualquer tentativa de defesa. Esse trabalho propõe uma Arquitetura rápida e adaptativa para Detecção e Prevenção de Ameaças baseada em processamento de fluxos e algoritmos de aprendizado de máquina. A arquitetura proposta combina a adaptabilidade de algoritmos de aprendizado de máquina treinados em tempo real com a eficiência de métodos treinados em lote. Um conjunto de dados foi criado através da captura tanto de tráfego legítimo, quanto de tráfego malicioso. Dois modos de se combinar os pacotes em fluxo são avaliados: um agregando todos os pacotes em uma janela de tempo; e o outro analisando apenas os primeiros pacotes de um fluxo. Além do conjunto de dados criado, um conjunto de dados contendo tráfego de usuários de uma das maiores operadoras do Brasil também é utilizado. Para avaliar a arquitetura de detecção proposta, cinco algoritmos de classificação e dois de anomalia são desenvolvidos. A arquitetura proposta provê é ótima adaptabilidade, detectando novas ameaças em tempo real, e um bom compromisso entre taxa de detecção de ameaças e de falsos positivos na detecção por anomalias. Um esquema baseado em Redes Definidas por Software, que automaticamente previne ameaças apenas com informações dos primeiros pacotes de um fluxo, também é proposto. A proposta eficientemente bloqueia ameaças, é robusta e escala de acordo com a demanda, mesmo em cenários nos quais os atacantes usam IP mascarado. Além disso, a escalabilidade é avaliada, ao aumentar o número de núcleos de processamento de fluxos e alocar mais recursos para elementos sensores. Os resultados mostram uma alta acurácia, acima de 90% e um tempo de detecção de ameaças de quatro microssegundos, o que permite o disparo imediato de contramedidas