Historical data management in big databases

Dissertação de mestrado em Informatics EngineeringWe are now living in a digital world where almost anything, or something is saved somewhere with very few considerations for determining if that was in fact relevant to be saved or not. Hence, it is predictable that most information systems are facing an information management problem. To overcome this issue, it is vital the creation of new and more specific data management techniques that will enforce the established governance policies and manage the information systems in order to maintain their ideal performance and quality. Currently, a solution that is able to cope with this problem efficiently is “pure digital gold”, especially for the biggest players that have to handle an astonishing amount of data, which needs to be properly managed. Nevertheless, this is a problem of general interest for any database administration, because even if shrinking the dimension of the information is not a major concern in some cases, the data assessment efficiency and its quality assurance are certainly two subjects of great interest for any system administrator. This work tackles the data management problem with a proposal for a solution that uses machine learning techniques and other methods, trying to understand in an intelligent manner the data in a database, according to its relevance for their users. Thus, identifying what is really important to who uses the system and being able to distinguish it from the rest of the data, is a great way for creating new and efficient measures for managing data in an information system. Through this, it is possible to improve the quality of what is kept in the database as well as increase, or at least try to ensure, system performance. Basically, what its users expect from it throughout its lifetime.Estamos a viver num mundo digital onde praticamente tudo que alguém ou algo faça é capturado e guardado em algum sítio, com muito pouca consideração que determine se esse evento é ou não relevante para ser guardado. Como tal, é previsível que grande parte dos sistemas de informação tenha, ou venha a ter, um problema de gestão de informação no futuro. Isto obriga a que sejam criados novos tipos de técnicas de gestão de dados mais eficientes e específicos para cada caso, que sejam capazes de governar os sistemas de forma a assegurar o desempenho e qualidade desejados. Atualmente, uma solução capaz de lidar com este problema eficientemente nos tempos que correm é “ouro digital”, especialmente para os grandes intervenientes neste domínio que têm de lidar com uma quantidade exorbitante de dados e que, por sua vez, precisam de ser devidamente geridos. Apesar disso, este é um problema de interesse global para qualquer equipa de administração de bases de dados, porque mesmo que a diminuição da dimensão da base de dados não seja uma preocupação fulcral para certos casos, o eficiente acesso e a qualidade dos dados existentes numa base de dados serão sempre dois assuntos de grande preocupação para qualquer administrador de sistemas. Neste trabalho, é investigado o problema da gestão de dados através de uma proposta de solução, na qual através de técnicas de machine learning, tenta com inteligência perceber, aprender e classificar os dados em qualquer base de dados, de acordo com a sua relevância para os utilizadores. Identificar o que realmente é importante para quem usa o sistema e ser capaz de distinguir esta informação da restante, é uma excelente forma para se criarem novas e eficientes medidas de gestão de dados em qualquer sistema de informação. Assim, certamente, irá aumentar a qualidade de tudo o que é mantido no mesmo, bem como aumentar, ou pelo menos tentar assegurar, que o desempenho do sistema é o esperado pelos utilizadores