Column-based databases: an exploratory study in the context of NoSQL databases

Dissertação de mestrado integrado em Engenharia e Gestão de Sistemas de InformaçãoDepois de várias décadas de grande sucesso e bons serviços prestados às organizações, a tecnologia relacional de bases de dados tem vindo a ser desafiada por uma nova classe de tecnologias de bases de dados a que se deu a designação genérica de NoSQL (Not only SQL). Para este facto contribuíram decisivamente os recentes desenvolvimentos na área a que se tem vindo a chamar Big Data em que o aumento da quantidade de dados gerados diariamente em diversos domínios de aplicação como a Web e principalmente as redes sociais, entre outros, está atualmente na ordem das centenas de Terabytes e como tal, tendo em conta o volume e complexidade dos dados a gerir a tecnologia relacional começa a demonstrar fragilidades substanciais. Em particular, a necessidade de gerir dados cujos formatos são dificilmente acomodáveis em sistemas relacionais, dispersos por múltiplos servidores, levou ao aparecimento das ditas Bases de Dados NoSQL sendo que estas são principalmente focadas na performance permitindo o processamento de dados de forma rápida e eficiente e possuem um modelo de dados que não necessita de seguir os padrões rígidos do modelo relacional pelo que armazenam tanto dados estruturados como não estruturados. Dentro desta nova classe de tecnologias de Bases de Dados surgiram diferentes propostas, com distintas proveniências e áreas de aplicação, vulgarmente classificadas em quatro grupos, de acordo com o seu modelo de dados: Column, Document, Key/Value e Graphbased databases, sendo que cada um destes modelos possui uma grande diversidade de propostas no mercado. Assim, e tendo em consideração que esta dissertação é focada nas bases de dados do tipo column-based foram selecionadas para análise e exploração as duas soluções desta área, que tendo em conta o seu prestígio e documentação existente, apresentam ser as mais relevantes no mercado. Essas soluções são o Cassandra e o HBase.After several decades of great success and good services to the organizations, relational databases have been challenged by a new class of database technologies, which is commonly known as NoSQL (Not only SQL). The recent developments in the area, which has been called Big Data, contributed decisively to it. In fact, the increase of data generated daily in different fields of application (such as the Web and especially social networks), is currently in the hundreds of Terabytes. Taking these facts into account and given the volume and complexity of data to manage, the relational technology began to show substantial weaknesses. The need to handle data, whose formats are hardly accommodated in relational systems (spread across multiple servers), led to the raise of the NoSQL databases. These are mainly focused on performance, allowing the quick and efficient processing of data. These also possess data model which do not need to follow the strict standards of the “relational model”, to the extent that they allow the storage of structured and unstructured data. Within this new class of database technologies, there have been various proposals with different backgrounds and areas of application, commonly classified into four groups, according to their data model: Column, Document, Key/Value and Graph-based databases. Each one of these models has a wide range of offers on the market. Therefore, taking into account that this dissertation is focused on Column-based databases, it was selected, for analysis and exploration, the two most relevant solutions in this area on the market today, given its prestige and existing documentation, namely Cassandra and HBase