Substrato de coordenação e serviço de directorias para sistemas de ficheiros seguros para cloud-of-clouds

Tese de mestrado em Engenharia Informática (Arquitectura, Sistemas e Redes de Computadores), apresentada à Universidade de Lisboa, através da Faculdade de Ciências, 2012O C2FS (Cloud-of-Clouds File System) é um sistema de ficheiros distribuído que fornece aos programadores uma interface POSIX, e que tem por objectivo armazenar os dados numa cloud-of-clouds, utilizando vários provedores de armazenamento nas clouds ao invés de apenas um para aumentar a disponibilidade e privacidade dos dados. Este projecto visa desenvolver dois dos serviços do C2FS: um serviço de directorias distribuído, que ofereça confidencialidade e disponibilidade dos metadados, controlo de acesso aos mesmos por parte de vários utilizadores e fortes garantias de tolerância a faltas; e um serviço de locks para coordenar o acesso aos ficheiros do sistema por parte de vários processos escritores, de forma a garantir a consistência destes ficheiros. Estes componentes do C2FS usam o DepSpace, um serviço de coordenação tolerante a faltas bizantinas que fornece uma abstracção de espaço de tuplos. Para a sua implementação foi necessário alterar a API e arquitectura deste serviço, adicionando uma nova operação que permite a substituição de tuplos e uma camada de suporte a Triggers. Por questões de desempenho foram ainda desenvolvidas duas variações do serviço de directorias: uma que mantém, temporariamente, os metadados utilizados em cache, e outra para a utilização do sistema sem partilha de ficheiros. Para além disso foi desenvolvido um mecanismo, chamado espaço de nomes pessoal, que permite, para além de aumentar o desempenho do serviço de directorias, diminuir a quantidade de informação mantida pelo mesmo. Neste projecto, foi também desenvolvido um mecanismo que permite ao C2FS fornecer garantias de consistência forte mesmo recorrendo a clouds de armazenamento que fornecem apenas consistência eventual. Foi ainda feita uma avaliação experimental que permite perceber, em termos de desempenho, qual é o custo de utilizar um serviço de coordenação para armazenar os metadados do sistema de ficheiros e se esse custo pode ser minimizado através do uso de uma cache de metadados.C2FS (Cloud-of-Clouds File System) is a distributed file system that allows developers to take advantage of its POSIX-like interface. It store file system data in a cloud-ofclouds, using several cloud storage providers (instead of only one) to improve the privacy and availability of the data. The goals of this project are to develop two services to C2FS: a distributed and fault tolerant directory service, which maintain the C2FS’s metadata, ensuring its confidentiality, availability, and providing access control to this metadata by various users; and a lock service to coordinate the accesses to files by several writers in order to ensure the consistency of shared files. This service uses DepSpace, a Byzantine fault tolerant coordination service that provides a tuple space abstraction. To implement these services it was necessary to change the API and architecture of DepSpace, adding a new operation to replace tuples and support of triggers. For performance reasons it was developed two directory service variations: one that temporarily maintains the metadata used in cache, and another that allows users to use the system without file sharing. Besides this, it was developed a mechanism, called personal namespace, that decrease the amount of data stored by the service, increasing its performance for accessing non-shared files. In this project was also developed a mechanism that allows C2FS to provide strong consistency guaranties, even if cloud storage providers (used by the system to store its data) provide only eventual consistency guaranties. Finally, it was made an experimental evaluation in order to understand, in terms of performance, what is the cost of use a coordination service to store the file system metadata and if that cost can be minimized through the use of a metadata cache