Ambiente de análise de ameaças para geração de inteligência de ameaças usando fontes abertas

Trabalho de Conclusão de Curso (graduação)—Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Ciência da Computação, 2018.A análise de ataques a redes de computadores é complexa dado o volume de dados trafegados e a quantidade elevada de máquinas, mesmo em pequenas redes. O volume de dados é grande e o tempo para processá-los e analisá-los é curto. Todo dia uma nova ameaça ou um novo ataque são criados e dissipados na Internet. O trabalho teve como o objetivo utilizar ferramentas de particionamento não supervisionado para análise e extração de informações, que foram obtidas de fontes abertas. Inicialmente os dados foram obtidos do site da Norse Corporation. Resultados significativos foram obtidos, informações sobre ataques em portas com valores acima de 50.000 que são realizados principalmente por atacantes chineses. Corroborando essa informação várias empresas reportaram a existência de backdoors nessas portas em roteadores de fabricantes chinesas. Devido a limitações processo, que era centralizado e utilizava técnicas tradicionais, o objetivo evoluiu. O foco agora era desenvolver uma arquitetura robusta, elástica e escalável que faz uso de técnicas de processamento com o uso do Hadoop para que assim as informações sejam disponibilizadas em tempo hábil. Dessa forma novas fontes de dados sobre ataques puderam ser incluídas de forma a diversificar as informações presentes na base de dados. Com mais de 20 milhões de ataques no sistema uma análise muito mais profunda pode ser realizada, apresentando uma série de resultados animadores. Além disso, o objetivo foi atingido, a arquitetura proposta foi implementada e possui todas as características desejadas processando os dados em tempo quase real. O sistema provê informação de inteligência sobre ataques em grande escala com agilidade e eficiência. Sua utilização é proveitosa em diversas organizações que baseiam seu funcionamento em sistemas computacionais, e ainda para nações que desejam proteger sua infraestrutura de forma pró-ativa.The analysis of attacks on computer networks is complex given the data volume transmitted and the high number of machines even in small networks. The data volume is large and the time to process and analyze them is short, since every day a new threat or a new attack is created and dissipated in Internet. The purpose of the work was to use unsupervised partitioning tools for analysis and extraction of information, which were obtained from open sources, initially from the Norse Corporation website. Significant results were obtained, information of attacks on doors with values above 50.000 that are carried out mainly by Chinese attackers. Corroborating this information several companies reported the existence of backdoors in these ports on routers from Chinese manufacturers. Due to process limitations, which was centralized and used traditional techniques, the objective has evolved. The focus was now on developing a robust, resilient, and scalable architecture that makes use of Hadoop processing techniques so that information is made available in a timely manner. New sources of attack could be included in order to diversify information present in the database. With more than 20 million attacks on the system a much deeper analysis can be performed, presenting a number of encouraging results. In addition, the objective has been achieved, the proposed architecture has been implemented and has all the desired characteristics, processing the data in near real time. The system provides intelligence on large-scale attacks with agility and efficiency. Its use is beneficial in many organizations that base their functioning on computer systems, and also for nations that wish to protect their infrastructure in a proactive way