Security Benchmarks for Web Serving Systems

Tese de doutoramento em Ciências e Tecnologias da Informação, apresentada ao Departamento de Engenharia Informática da Faculdade de Ciências e Tecnologia da Universidade de CoimbraThe assessment of the security level of computer systems in a standardized and regular manner (security benchmarking) has become a very relevant subject, especially for those who use computer systems to support critical business missions or to store confidential information. The concern about computer-based system security is totally justified: systems have become increasingly complex, interconnected, and pervasive, and their security have been threatened by many types of attacks. These attacks are unavoidable, as the root causes for them are tied to human aspects that cannot be removed (intention to cause harm, intention to steal information, etc.), and the losses attacks can cause to their targets (when successful) can be very significant. This scenario of attack inevitability has led companies and governments to invest massively in the development of regulations and mechanisms aimed at the improvement of the security of computer systems (e.g., training developer teams, rapidly solving discovered vulnerabilities, using tools to detect and prevent attacks). Despite these efforts, successful attacks continue to happen, showing that computer systems remain insecure. This is why end-users, system administrators, and systems integrators (to mention just a few classes of users) consider security as an important decision factor when choosing which system to buy and use. These individuals are looking for the means - to assess and compare the security of functionally-similar systems - that will enable them to make a selection decision based on the assessment of security risk. This thesis presents a novel, reproducible, risk-based methodology to benchmark the security of software-based systems. This is a generic methodology that can be instantiated to any class of software-based system. Our benchmark methodology uses the notion of risk in a quantifiable way to measure the security of systems, with a single security metric (SBench) to simplify the comparison of different systems (or different configurations of the same system), enabling users and system integrators to identify and select the most secure one, allowing as well the breakdown of this single metric for more detailed analysis. Our methodology follows the approach of benchmarks proposed in the field of performance and dependability, containing elements such as metrics, workload, and experimental setup, and defining a comprehensive set of procedures and rules to ensure the compliance with key properties such as repeatability. Our security benchmark methodology cover the two complementary views of a given system concerning security: the first takes into account concrete vulnerabilities effectively existing for that system (measures what is already known), and the second estimates the effects of possible yet-to-discover vulnerabilities (and, in fact, many attacks are based on previously unknown vulnerabilities). In fact, these views correspond to the two parts of our benchmark methodology: the static and the dynamic. The static part corresponds to a static analysis of the target system and uses the knowledge about the impact and exploitability of known vulnerabilities discovered for that component or system. The dynamic part corresponds to an experimental analysis of the system in runtime operation when subjected to attacks, while observing the behavior of the system in the presence of these attacks. The combination of the results of these two parts forms the security benchmark measure that enables users, administrators, integrators, and security specialists to identify the most secure among functionally equivalent software systems. This thesis also exemplifies how to apply our security benchmark methodology for a particular and widely used system class (web serving systems), also describing the tools implemented to speed up the execution of the security benchmark. Due to their role in society and exposure to public at general, web serving systems are constantly targeted by attacks, making the implementation of a security benchmark for web serving system a very pertinent contribution. This thesis presents case studies that demonstrate the feasibility, the usefulness and the validity of our security benchmark. Following our methodology, end-users will be able to estimate the security risk of given systems and, if needed, use the results to select the most secure one. The fact that our security benchmark methodology is designed to address any class of software-based systems, uses the notion of risk in the benchmark metric, applies an experimental approach to stress the security of systems, and provides procedures and rules that can guide the further development of representative security benchmark standards, make us absolutely sure that this is an effective and important contribution to both the industry and the academia. Keywords: Security; metrics; benchmarking; risk; security risk; software systems; web serving systemsA avaliação padronizada de segurança de sistemas computacionais (benchmarking de segurança) é um assunto bastante relevante especialmente para aqueles que usam sistemas computacionais para suportar negócios, missões críticas e armazenar informações confidenciais. A preocupação quanto a segurança de sistemas computacionais é totalmente justificada: sistemas computacionais têm-se tornado mais complexos, interconectados e ubíquos e a segurança destes sistemas tem sido ameaçada por diferentes tipos de ataques. Os ataques são inevitáveis, uma vez que suas causas estão ligadas a aspectos humanos que não podem ser eliminados (intenção de causar dano, intenção de roubar informações, etc.) e os danos que podem causar nos sistemas (quando bem sucedidos) podem ser muito significantes. O facto dos ataques serem inevitáveis tem feito com que empresas e governos invistam massivamente no desenvolvimento de regulamentos e mecanismos para melhorar a segurança de sistemas computacionais (e.g., treinamento de equipas de programadores de computador, resolução rápida de vulnerabilidades recém-descobertas, uso de ferramentas para detetar e prever ataques). Apesar destes esforços, ataques bem sucedidos continuam a acontecer, mostrando que os sistemas computacionais permanecem inseguros. Este é o motivo pelo qual utilizadores, administradores e integradores de sistemas (para mencionar apenas algumas classes de utilizadores) consideram segurança como um importante fator de decisão ao escolher qual sistema comprar e usar. Estes indivíduos estão a procura de meios que lhes permitam escolher sistemas baseado na avaliação do risco de segurança. Esta tese apresenta uma metodologia inovadora, reproduzível e baseada na noção de risco para medir e comparar a segurança de sistemas computacionais (benchmarking de segurança). Esta metodologia é genérica, podendo ser aplicada em qualquer classe de sistema. Nossa metodologia de benchmarking de segurança usa uma abordagem quantitativa de risco para medir segurança, com uma métrica única de segurança (SBench) que simplifica a comparação de sistemas (ou diferentes configurações do mesmo sistema), ajudando utilizadores e integradores a identificar e escolher o sistema mais seguro, bem como permitindo o desdobrar desta métrica em indicadores que permitam análises mais detalhadas. Nossa metodologia segue a abordagem de benchmarks propostas no campo do desempenho e da fiabilidade de sistemas, incluindo elementos como medidas, carga de trabalho e setup experimental, e definindo um conjunto detalhado de procedimentos e regras com o objetivo de tornar a metodologia repetível, uma importante propriedade de uma benchmark. A nossa metodologia de benchmarking de segurança cobre as duas visões, que são complementares, de segurança de sistemas: a primeira leva em consideração as vulnerabilidades que efetivamente existem no sistema (mede o que já é conhecido), enquanto a segunda estima os efeitos de vulnerabilidades ainda a descobrir (de facto, muitos ataques são construídos sobre vulnerabilidades previamente desconhecidas). Na verdade, estas duas visões correspondem às duas partes da nossa metodologia: uma estática e uma dinâmica. A parte estática corresponde a uma análise estática do sistema alvo e usa informação do impacto e explorabilidade das vulnerabilidades que já foram descobertas naquele componente ou sistema. A parte dinâmica corresponde a uma análise experimental do sistema em tempo de execução, sujeitando-o a ataques e observando-o do ponto de vista de segurança. A combinação dos resultados destas duas partes forma a medida da benchmark de segurança que permite aos utilizadores, administradores, integradores e especialistas de segurança identificar o sistema mais seguro dentre aqueles que executam funções equivalentes. Esta tese também exemplifica como aplicar a nossa metodologia de benchmark de segurança numa classe de sistemas utilizada amplamente (os web serving systems), descrevendo também as ferramentas implementadas para acelerar a execução da benchmark de segurança. Devido à sua função na sociedade e exposição ao público em geral, web serving systems estão constantemente sob ataques, o que faz da implementação de uma benchmark de segurança para web serving systems uma contribuição muito pertinente. Os casos de estudo apresentados demonstram a viabilidade, a utilidade e validade da nossa metodologia de benchmark de segurança. Ao seguir nossa metodologia, utilizadores poderão estimar o risco de segurança de sistemas e, se necessário, utilizar os resultados para escolher o sistema mais seguro. O facto da nossa metodologia ser projetada para qualquer classe de sistema, usar a noção do risco na medida da benchmark, aplicar uma abordagem experimental para testar a segurança de sistemas e prover procedimentos e regras que podem ajudar no desenvolvimento de um padrão de benchmark de segurança, faz-nos acreditar de que este trabalho é uma contribuição relevante, tanto para a indústria quanto para a investigação científica de âmbito académico.FCT - SFRH/BD/61969/200