A fault - and intrusion - tolerant architecture for EDP Distribuição SCADA system

Tese de mestrado em Segurança Informática, apresentada à Universidade de Lisboa, através da Faculdade de Ciências, 2011Nas últimas décadas tem havido um grande investimento na criação de uma infraestrutura para distribuição de energia que ofereça uma maior qualidade de serviço e também uma maior cobertura de todo o território nacional Português. No entanto, a criação de novas instalações eléctricas e a própria expansão da rede não garantem por si só a qualidade de serviço exigida, apesar da maior robustez e confiabilidade das tecnologias mais recentes. É muito importante ter a capacidade de monitorizar toda a infra‐estrutura a qualquer altura de modo a poder responder o mais rapidamente possível a quaisquer incidentes ou falhas que possam ocorrer na rede eléctrica. O objectivo principal de um fornecedor de energia é reduzir o tempo de indisponibilidade do serviço prestado aos consumidores de electricidade e aumentar a qualidade do serviço. O papel de executar uma supervisão rápida e eficaz de toda a infra‐estrutura de distribuição de energia é delegado ao operador de rede que fornece a rede de distribuição. O principal objectivo será optimizar o fluxo de energia através da gestão e operação da rede eléctrica, garantindo a qualidade do serviço técnico. Para além de estar alerta para qualquer incidente, os operadores de rede são também responsáveis para iniciar todas as medidas necessárias para resolvê‐los, de acordo com a análise feita no momento. Hoje em dia, a operação da rede de distribuição é assistida por ferramentas de gestão de alta tecnologia, os sistemas Supervisory Control and Data Acquisition (SCADA) que permitem a supervisão e controlo remoto da rede de distribuição de energia da EDP Distribuição. No entanto, esta supervisão não foi sempre apoiada por tecnologias sofisticadas. Antes do aparecimento dos sistemas de informação, a monitorização da rede eléctrica era realizada localmente, nas subestações de Alta Tensão, por operadores de rede que trabalhavam em turnos de 24 horas por dia, sete dias por semana, garantindo o controlo e gestão de incidentes a todo o momento. Com o desenvolvimento das tecnologias da informação e de comunicações, os sistemas SCADA surgiram. Estes sistemas são ferramentas muito valiosas para a supervisão e operação da rede eléctrica em tempo real. Os sistemas SCADA têm uma arquitectura muito complexa composta por sistemas de informação com bases de dados relacionais, que recebem quase em tempo real informação dos diferentes componentes eléctricos monitorizados e que têm também a capacidade de executar comandos remotamente sobre esses mesmos componentes. A implementação destes sistemas possibilita uma melhor gestão da rede eléctrica de distribuição, a redução de custos de operação, e permite também a automatização de procedimentos e a padronização dos processos a nível nacional. Na EDP Distribuição, o sistema SCADA representa apenas um dos sistemas core do Generation Network Information System (GENESys), um sistema que incorpora as funcionalidades SCADA com funcionalidade de gestão da distribuição de energia, fornecidas por um sistema Distribution Management System (DMS). O sistema GENESys representa o núcleo da gestão da rede eléctrica da EDP Distribuição, e a sua robustez, confiabilidade e disponibilidade é crítica, considerando as funcionalidades do mesmo. A arquitectura actual do sistema tem algumas debilidades e carece de capacidade para tolerar alguns tipos de falhas na sua estrutura. Sendo assim, propomos uma arquitectura tolerante a falhas e intrusões para o GENESys, com o objectivo de criar um sistema mais confiável e seguro. A arquitectura é composta essencialmente por três camadas distintas que iremos endereçar com três soluções dedicadas, com a perspectiva de melhores resultados globais. Para as camadas inferiores do sistema, as instalações eléctricas monitorizadas e os sites dos Frontends, propomos mecanismos de tolerância a falhas baseado em redundância com gestão aplicacional. Para a camada dos sistemas SCADA e DMS, propomos a implementação de um protocolo de replicação tolerante a intrusões, uma vez que ambos os serviços são fundamentais para uma gestão confiável e segura da rede eléctrica da EDP Distribuição. O protocolo MinBFT irá fornecer uma camada extra de segurança para os sistemas uma vez que o algoritmo de replicação de máquinas de estado irá garantir que, se um invasor comprometer uma das réplicas do sistema, não será capaz de controlar e comprometer o funcionamento correcto da rede eléctrica. Além disso, realizamos duas análises distintas sobre a arquitectura proposta, sempre dividindo‐a pelas três camadas abrangidas. O objectivo da primeira análise é entender quais são as capacidades de tolerância a falhas introduzidas nas diferentes camadas do GENESys pelas soluções propostas. Na segunda, realizamos uma análise de custo‐benefício para inferir sobre a viabilidade de nossa proposta, reconhecendo tanto os seus custos como os benefícios técnicos e operacionais.Over recent decades there has been a great investment in creating an infrastructure for energy distribution that offers a higher quality of service and also a greater coverage over the Portuguese national territory. However, the expansion of facilities and the power grid do not guarantee by themselves the required quality of service, despite the increased robustness and reliability of the more recent technologies. It is very important to monitor the entire infrastructure at all times in order to respond as fast as possible to incidents and failures that occur in the power grid. The main objective is to reduce the downtime of the service provided to electricity consumers and to increase the quality of service. The role of performing a quick and effective oversight of the entire infrastructure of power distribution is delegated to the utility providing the distribution grid. Its main objective is to optimize the flow of energy by managing and operating the power grid, ensuring quality of technical service. In addition to being alert to any incident, the network operators are also responsible to initiate all the necessary measures to solve them, according to the analysis made at the time. Nowadays, these functions of great responsibility are facilitated by management tools, usually supervisory control and data acquisition (SCADA) systems that allow remote monitoring and control of the EDP Distribuição power grid. However, the monitoring of the power grid has not always been supported by sophisticated technologies. Before the appearance of information systems, the oversight of the facilities was carried out locally by grid operators who worked in shifts covering high voltage substations twenty four hours a day, seven days a week, ensuring control and incident management at all times. With the development of information technologies and communications, the SCADA systems emerged. These systems are the most valuable tools on providing supervision and operation of the electric power system in near real‐time [1]. The SCADA system have a very complex architecture composed by information systems and database applications which receive realtime information and execute commands over different electrical components on the several telemetry electrical sites, based on sensors, actuators and controllers thereby present. The SCADA systems implementation results in better manageability of the power grid, the reduction of operation costs, and allowing the automation of procedures and the standardization of processes at national level. In EDP Distribuição, the SCADA system only represents one of the core systems of Generation Network Information System (GENESys), a system that incorporates the features and functionalities of SCADA but also the management of the distribution of energy, provided by a Distribution Management System (DMS). The GENESys platform represents the core of the EDP Distribuição power grid management and its robustness, reliability and availability is critical, considering the functionalities it provides. The current architecture of the EDP system as some weaknesses and lacks on the ability of tolerating faults within its structure. We propose a fault‐ and intrusion‐tolerant architecture for GENESys, aiming on a more dependable and secure system. The architecture is mainly composed by three different layers which we address with three dedicated solutions with the view of better global results. For the lower layers of the system, the Telemetry Sites and the Frontend Sites, we propose faulttolerant mechanisms based on redundancy with applicational management. For the backend systems layer we propose the implementation of an intrusion‐tolerant replication protocol since both SCADA and DMS services are crucial for a dependable and secure management of the EDP Distribuição power grid. The MinBFT protocol will provide an extra layer of security to the backend systems since the state machine replication algorithm will guarantee that if an attacker compromises one of the system replicas he will not be able to control and jeopardize the power grid operation. Furthermore, we perform two different analyses over the proposed architecture, always dividing it by the three covered layers. The first analysis objective is to understand which are the fault tolerance capabilities introduced to the different layers of GENESys by our solutions. In the second, we perform a cost‐benefit analysis to infer about the viability of our proposals by acknowledging both their costs and the technical and operational benefits