Design and implementation of simple storage and query engines for a column-based and access optimized relational table structure on disk

Relational database management systems currently keep large volumes of data in secondary storage. But with the increasing development of hardware features such as quantity of memory, number of CPUs and CPUs cores, computation cycles, etc. the new trend is to store data in main memory. Such storage will lead to a suited different organization of data that only is efficient if data is always available in main memory. Taking into account this idea, SAP has developed a new relational DBMS: SAP HANA. It is an implementation of in-memory database technology designed for enterprise computing. In this database it is necessary to separate data into two differenced categories: cold data and hot data. This separation is necessary to handle the increasing, but still limited capacity of main memory efficiently while keeping all data available for reporting needs. Data in a database has its own life cycle and the sequence of events that certain data has passed through determines its state. The term cold data refers to data that has become passive and can be stored in disk if it will not be changed any longer and, thus, this data will be accessed less often. In the other hand, the term hot data is used to refer data that is frequently accessed. The disadvantage with in-memory databases is the memory consumption especially for data which are rarely accessed, i.e. cold data. Therefore some mechanisms of streaming cold data in/out disk without using any kind of buffering, which allows consuming the minimal amount of memory, have been designed, implemented and evaluated. According to experimental results, the approach that consists of using a column store data model and applying some compression techniques show the best performance. ___________________________________________________________________________________________________________________________________En la actualidad los sistemas de gestión de bases de datos relacionales mantienen grandes volúmenes de datos en almacenamiento secundario. Pero con el creciente desarrollo de las características del hardware, como la cantidad de memoria, el número de CPUs y núcleos de CPU, ciclos de computación, etc. la nueva tendencia es la de almacenar los datos en la memoria principal. Tal almacenamiento dará lugar a una organización diferente de los datos, que sólo es eficiente si los datos están siempre disponibles en memoria principal. Teniendo en cuenta esta idea, SAP ha desarrollado un nuevo sistema gestor de base de datos relacional: SAP HANA. Este sistema es una implementación de la tecnología de base de datos en memoria, diseñado para la computación empresarial. En esta base de datos, es necesario separar los datos en dos categorías diferenciadas: hot data vs. cold data. Esta separación es necesaria para manejar el aumento, pero todavía limitada capacidad, de la memoria principal de manera eficiente, manteniendo todos los datos disponibles. Los datos en una base de datos tienen su propio ciclo de vida y la secuencia de eventos que cierto dato ha pasado, determina su estado. El término cold data se refiere a datos que se han vuelto pasivos y se pueden almacenar en el disco si no se cambiarán por más tiempo y, por lo tanto, estos datos son accedidos con menor frecuencia. Por otro lado, el término hot data se usa para referirse a datos a los que se accede con frecuencia. La desventaja con bases de datos en memoria es el consumo de memoria, especialmente para los datos a los que rara vez se tiene acceso, es decir, cold data. Por lo tanto, algunos mecanismos de streaming de cold/hot data con el disco sin usar ningún tipo de buffering,lo que permite consumir la mínima cantidad de memoria, han sido diseñados, implementados y evaluados. De acuerdo con los resultados experimentales, el método o aproximación que consiste en usar un modelo de datos en columna y aplicar algunas técnicas de compresión es el que muestra el mejor rendimiento.Ingeniería en Informátic