Business Intelligence : towards on-demand ETL over document stores

L'émergence des données issues du web et de ses corollaires entraîne une révolution digitale qui touche tous les aspects d'une entreprise. L'évolution de ces données en terme de volume, variété et vélocité explique la nécessité d'intégrer dans les systèmes existants des services axés sur le Big Data. Dans les systèmes Business Intelligence & Analytics (BI&A), les décideurs utilisent les bases de données (BD) pour extraire des informations pertinentes afin d'améliorer la prise de décision. Ces systèmes sont aussi impactés par cette révolution digitale. En effet, à l'ère du Big Data, les BD NoSQL sont devenues omniprésentes en tant que systèmes hautement extensibles et sans schéma pour stocker des données de volume, variété et vélocité importants. Quoique NoSQL est largement utilisé aujourd'hui, son exploitation est limitée dans le cadre de la BI&A qui reste, pendant de longues années, liée essentiellement aux systèmes de gestion de BD conventionnels telles que les BD relationnelles.En revanche, dès les premiers jours de l'entreposage des données, le modèle relationnel a été fondamental dans la quête de la cohérence et de la qualité des données analytiques dans les systèmes BI&A. Pour obtenir de meilleures performances, le modèle NoSQL offre une grande variété structurelle et une flexibilité accrue de schémas et abandonne certaines règles comme les contraintes d'intégrité. Par conséquent, l'exploitation des données sans schéma, et souvent sans contraintes d'intégrité pour la prise de décision nécessite de revoir toutes les phases de l'architecture BI&A, notamment le processus Extract-Transform-Load (ETL) afin de les adapter au volume, variété et vélocité des données, telles que les BD orientées documents.À titre d'exemple, dans le processus ETL, joindre plusieurs collections en l'absence d'un schéma défini au préalable est un défi important. Détecter ces candidats manuellement s'avère laborieux, très coûteux en temps et infaisable dans les ensembles de données à grande échelle.L'objectif principal de cette thèse est d'explorer comment extraire, transformer et charger des BD NoSQL, particulièrement des BD orientées documents, pour des fins décisionnelles ? et comment préparer ces données variées et volumineuses pour répondre aux besoins des décideurs ?Dans un premier temps, nous avons mené une étude approfondie de la littérature sur ces problématiques. Cette revue nous a conduits à introduire une nouvelle approche de BI&A permettant d'extraire, transformer et de charger à la demande les données requises pour l'analyse OLAP à partir de BD orientées documents.Nous nous concentrons sur l'ETL à la demande où, contrairement aux travaux existants, nous considérons la dispersion des données sur deux ou plusieurs dans les BD orientées documents. Dans un second temps, nous étudions le problème de la découverte automatique des attributs clés de jointure. Nous proposons un algorithme qui vise à détecter automatiquement les identifiants et les références composés et non composés à partir de plusieurs sources de données orientées documents.L'approche est basée sur des caractéristiques et des règles d'élagage pour trouver les identifiants candidats. Pour trouver les pairs (identifiant, référence) entre chaque deux collections, nous avons mis en pratique node2vec, technique de plongement de réseau qui offre des avantages significatifs en utilisant les similarités syntaxiques et sémantiques. Pour illustrer notre étude, nous avons développé des prototypes comportant les deux niveaux : (i) détection des identifiants candidats ; et (ii) identification des paires candidates des attributs clés. L'étude expérimentale est basée sur deux benchmarks TPC-H et TPC-E et deux sources de données réelles Twitter et Musicians. Nous présentons les résultats qui montrent la faisabilité et la pertinence de notre approche et nous discutons les défis à relever dans nos travaux futurs.In today's world, data play a valuable role in organizations. Most notably, the volume and variety of the gathered data have expanded dramatically leading to a digital revolution that affects all aspects of a company. The evolution of these data explains the need to integrate Big Data techniques, analytics, and operations into existing systems. In Business Intelligence & Analytics systems, decision-makers use data to gain insights of significant worth that bolster decision-making. These systems are also impacted by this digital revolution. In fact, in the big data era, NoSQL stores have become ever-present as a highly expandable and schema-free system that can better handle the volume, variety, and velocity of data. Although NoSQL is broadly accepted today, Business Intelligence & Analytics wields conventional database management systems such as relational databases. In fact, from the earliest days of data warehousing, the qualities of the relational model have been highly valued in the quest for data consistency and quality in Business Intelligence & Analytics systems.To achieve better performance, The NoSQL model offers a large structural variety and increased flexibility of schemata and abandons certain rules such as integrity constraints. Therefore, exploiting schema-free data for analytical purposes is challenging since it requires reviewing all the Business Intelligence & Analytics phases, particularly the Extract-Transform-Load (ETL) process, to fit big data sources as document stores.For instance, joining several collections without explicitly known join fields is a significant dare in the ETL process. Detecting these fields manually is time and effort-consuming and infeasible in large-scale datasets.The main goal of this thesis is to explore how to extract, transform and load NoSQL stores, particularly document stores, for decision-making and how to prepare these data to fit the decision-makers' requirements.We start by conducting an in-depth literature review regarding these issues. Then, based on the underlined limits of these works, we introduce a new Business Intelligence & Analytics approach that extracts, transforms, and loads the required data for OLAP analysis (on-demand ETL) from document stores. We focus on the on-demand ETL where, unlike existing works, we consider the dispersion of data over two or more collections.Secondly, we study the problem of discovering join fields automatically. We introduce an algorithm that aims to automatically detect both composite and non-composite identifiers and references on several document stores. The approach is based on scoring features and pruning rules to discover actual candidate identifiers from many initial ones efficiently. To find candidate pairs between several document stores, we put into practice node2vec as a graph embedding technique, which yields significant advantages while using syntactic and semantic similarity measures for pruning pointless candidates.To validate our contributions, we have developed prototypes to support the main phases of our approach.The validation comprises both levels:(i) candidate identifiers discovery for each collection; and (ii) identification of candidate pairs of key fields identifier and reference for every two collections. We base our experimental study on two benchmarks: TPC-H and TPC-E, and two real-world datasets: Twitter and Musicians. We report the results that show the feasibility of our approach and discuss the challenges to be addressed in our future work