Preservação de longa duração de informação digital no contexto de um arquivo histórico

Tese de Doutoramento em Tecnologias e Sistemas de Informação (ramo de conhecimento em Sociedade da Informação)Ao longo do século XX, a humanidade assistiu à massificação generalizada das tecnologias digitais. Estas encontram-se presentes em todos os quadrantes do mundo civilizado e suportam grande parte da actividade humana. Actividades tão dispares como consultar as horas ou planear uma missão espacial a Marte são, hoje em dia, inteiramente suportadas por tecnologias digitais. A expansão das tecnologias digitais conduziu inevitavelmente a um aumento da produção de informação digital. Este tipo de informação acarreta consigo um problema que coloca em risco a sua acessibilidade a longo-prazo. Este tipo de material, embora possa ser copiado infinitas vezes sem perder qualidade, requer a presença de um contexto tecnológico, hardware e/ou software, para que possa ser interpretado de forma inteligível por um ser humano. Esta dependência torna-o vulnerável à rápida obsolescência a que a tecnologia está sujeita, dado que nem sempre os novos desenvolvimentos garantem a compatibilidade com tecnologias precedentes. No sentido de mitigar o problema da obsolescência tecnológica e garantir o acesso continuado à informação digital foram apontadas diversas estratégias de preservação de informação digital, como por exemplo: a emulação, a migração de formatos e o encapsulamento. Apesar dos inúmeros progressos verificados neste domínio, continua a existir um vazio assinalável no que diz respeito à automatização de estratégias de preservação. Paralelamente, questões relacionadas com a autenticidade dos materiais, a validação de estratégias de preservação e a necessidade, sempre crescente, de reduzir custos assumem particular destaque na lista de preocupações dos profissionais da ciência da informação. Este projecto de investigação visa atenuar o conjunto de problemas previamente enumerados, dando especial ênfase à automatização de processos de preservação baseados em migração de formatos. De forma a dar resposta a esta necessidade, foi desenvolvida uma Arquitectura Orientada ao Serviço (SOA) capaz de auxiliar organizações e/ou indivíduos na implementação de intervenções de preservação. O sistema desenvolvido é constituído por um conjunto de componentes, fisicamente distribuídos, que são capazes de realizar o seguinte conjunto de actividades: executar acções de preservação baseadas em migração de formatos (conversão); determinar a quantidade de informação, propriedades significativas e funcionalidades perdidas durante uma migração (controlo de qualidade); produzir relatórios que possam ser utilizados como metainformação de preservação e que documentam a intervenção de preservação (autenticidade); e fornecer sugestões de formatos de destino e/ou serviços de conversão que maximizem a satisfação da entidade-cliente (selecção de alternativas de migração). O sistema desenvolvido foi avaliado no que diz respeito à sua capacidade de produzir recomendações de alternativas de migração capazes de satisfazer os requisitos de preservação manifestados por uma entidade-cliente. A avaliação incidiu ainda sobre a capacidade demonstrada pelo sistema em aferir o nível de degradação incorrido num objecto digital durante uma migração de formato, especialmente no que toca a propriedades significativas de carácter subjectivo. O sistema foi avaliado recorrendo a colecções de teste constituídas por imagens matriciais em diferentes formatos. Os resultados obtidos demonstram que o sistema é capaz de determinar eficazmente a similaridade gráfica entre imagens, apresentando valores de correlação superiores a 0.81 entre as opiniões produzidas por avaliadores humanos e métodos automáticos de cálculo de similaridade. No que toca à capacidade do sistema em determinar o nível de deterioração da metainformação embebida nas imagens, este apresentou valores de correlação acima dos 0.96 entre os valores produzidos pela métrica de Jaccard ’ e os valores de referência associados à colecção de teste. As experiências realizadas em torno do sistema de recomendação permitiram concluir que os serviços de migração sugeridos por este componente (tendo por base informação recolhida a partir de migrações anteriores) possuem um elevado nível de correlação com as recomendações ideais calculadas para cada objecto digital pertencente à colecção de teste. Os testes realizados resultaram em valores de correlação compreendidos entre 0.68 e 0.85 com um erro de precisão máximo de 34.9%. Os principais contributos desta investigação são: a capacidade de preservar objectos digitais recorrendo a conversão de formatos sem que haja necessidade de implementar complexos sistemas de migração; a capacidade de obter relatórios detalhados sobre a migrações realizadas permitindo, assim, documentar todo o processo de preservação e deste modo assegurar a autenticidade dos materiais; e a possibilidade de comparar diferentes alternativas de migração e identificar de forma objectiva qual destas é a mais adequada para satisfazer as necessidades de uma organização.During the second half of the 20th century, mankind has passively witnessed the worldwide proliferation of digital technologies. These technologies are currently present in every aspect of today’s civilized life and natively support a great deal of human activities. Distinct actions such as telling the time or planning a mission to Mars are now entirely supported by digital technologies. This growth has been accompanied by an overwhelming expansion of digital information. Digital information has a lot of advantages over traditional analogue information. However, it carries a structural problem that may hinder its accessibility in the long run. Digital information requires the presence of a technological environment (hardware and/or software) in order to be adequately rendered for human consumption. This technological dependency makes it vulnerable to the rapid evolution of digital technologies as well as technological ruptures caused by non-retrocompatible developments. To insure the continuous access to digital information, several strategies have been proposed: emulation, format migration, encapsulation, etc. However, there is still a great deal of work to be done in what concerns making these processes more automatic and user-friendly. Moreover, issues regarding the authenticity of digital materials have always been a concern for information science professionals. This thesis aims at solving the previously outlined issues, focusing especially on the automation of migration-based preservation strategies. In order to accomplish this goal, we have developed a Service Oriented Architecture (SOA) specially designed to assist cultural heritage institutions in the implementation of preservation interventions. The proposed SOA delivers a recommendation service and a method to carry out complex format migrations. The recommendation service is supported by three evaluation components that assess the quality of every migration intervention in terms of its performance, suitability of involved formats and data loss. The proposed system is also able to produce preservation metadata that can be used by any client institution to document preservation interventions and retain objects’ authenticity. The system has been evaluated in what concerns its ability to produce suggestions of migration services that maximize the preservation requirements of any given client institution. The evaluation process also focused the system’s ability to determine the level of degradation imposed to a digital object during a migration process, especially in what concerns its subjective significant properties, i.e., pixel correctness and embedded metadata. The system was evaluated using datasets of raster images encoded in several formats. The results of this research show that the proposed system is capable of effectively calculating the similarity between digital images, revealing a correlation value superior to 0.81 between automatic similarity algorithms and the mean opinions scores provided by human evaluators. In what concerns the system’s ability to determine the level of degradation occurred in the image metadata, the system showed correction values above 0.96 while using a modified version of the Jaccard similarity metric. The recommendation system showed a level of correlation of 0.68 to 0.85 (with a maximum precision of 34.9%) when suggestions based on previously executed migrations were compared with the ideal rankings of migration services calculated specifically for a given object. The main contributions of this research are: the ability to preserve digital information using a format migration strategy without having to deploy complex migration systems; the ability to obtain detailed migration reports that document the entire preservation intervention which can be used as preservation metadata to ensure information authenticity; and the possibility of comparing and assessing different migration options and objectively choose the one that maximises the satisfaction of a client institution