Gestion de la redondance des donnees dans environnements connectes

L’évolution significative des technologies de traitement, transmission, et modélisation des données ainsi que l’avancement technique réalisé au niveau des réseaux de capteurs ont contribué à la prolifération des environnements connectés (ex : bâtiments,villes intelligents). Ces environnements contiennent divers capteurs qui surveillent notre vie quotidienne et génèrent une quantité massive de données / observations.Par conséquent, le nombre de données à transmettre et stocker sur le réseau (localement sur les capteurs ou dans des bases de données) devient problématique.De plus, les capteurs surveillant l’environnement en temps réel produisent souvent des données redondantes qui ne sont pas nécessairement utiles (par exemple,enregistrer les mêmes phénomènes inchangés pendant une période de temps).Ceci provoque plusieurs problèmes (par exemple, la saturation de la bande passante du réseau, la surconsommation d’énergie du réseau / capteurs, des problèmes destockage). Les techniques de prétraitement des données telles que la détection et le nettoyage de la redondance (c’est-à-dire la déduplication) pourraient aider à réduire a quantité de données traitées, transmises et stockées dans des environnements connectés.Dans cette thèse, nous nous concentrons sur trois défis principaux: (I) détecter avec précision les redondances de données dans des environnements connectés ; (II)prendre en compte les caractéristiques environnementales physiques (par exemple,les séparations des zones/localisations), les caractéristiques des capteurs (par exemple,les zones de couverture), et la dynamique de l’environnement connecté (par exemple,la mobilité des capteurs) lors de la détection des redondances ; et (III) fournir des mécanismes flexibles et configurables de nettoyage des redondances pour faire face aux besoins des consommateurs de données (par exemple, les utilisateurs, les services, les équipements, les besoins de stockage).Pour ce faire, nous proposons :• une approche, dénotée DRMF, pour la détection des données redondantes au niveau des capteurs,• une amélioration de DRMF, dénotée FREDD, basée sur le raisonnement flou pour améliorer la détection au niveau des capteurs,• une extension de FREDD permettant de détecter les redondances au niveau intermédiaire (niveau "Sink"), et• une approche pour le nettoyage des redondances détectées qui assure une flexibilité pour adapter la déduplication aux besoins et recommandations des consommateurs de données.Nous regroupons tous ces modules dans un framework global nommé DRMCE pour la gestion de la redondance des données dans des environnements connectés.Notre proposition est 1) adaptative car permet de personnaliser la déduplication des données redondantes soit localement sur les capteurs ou au niveau des noeuds Sinks,et 2) générique car pourrait être utilisée dans différents environnements connectés tels que les bâtiments, les villes, et parkings intelligents.Major advances in the fields of Internet and Communication Technology (ICT),data modeling/processing, and sensing technology have rendered traditional envi-ronments (e.g., cities, buildings, hospitals) more connected. In such environments,the ever-increasing number and diversity of data sources (devices and sensors,both static and mobile) is continuously increasing the size of the data that need tobe stored locally on edge devices and/or transmitted to central storage databas-es/repositories in the network. Moreover, sensors monitoring the environment inreal-time often produce redundant data that might not be necessarily useful (e.g.,recording the same unchanged phenomena during a period of time). As a result,the huge amount of data causes several issues (e.g., network bandwidth saturation,over-consumption of network/device energy, cloud storage and I/O throughputissues). Data pre-processing techniques such as redundancy detection and cleaning(i.e., deduplication) can help reduce the amount of data being processed, transmit-ted, and stored in connected environments.In this thesis, we focus on three main challenges: (i) accurately detecting data re-dundancies in connected environments; (ii) considering the physical environmentalfeatures (e.g., zone/location separations), the sensor features (e.g., coverage areas),and the dynamicity of the connected environment (e.g., device mobility) whendetecting redundancies; and (iii) providing flexible and configurable redundancycleaning mechanisms to cope with data consumer needs (e.g., users, services,devices, storage needs).In order to address the aforementioned challenges, we first target data redundan-cies at the edge of the network (i.e., device level) and propose a Data RedundancyManagement Framework (DRMF) to detect crisp data redundancies (e.g. temporalin case of static devices and spatio-temporal in case of mobile devices). Then,we address the limitations of DRMF by proposing FREDD (Fuzzy RedundancyElimination for Data Deduplication) to detect fuzzy data redundancies at the devicelevel. Furthermore, we consider the physical features of the environment, as well assensor mobility and coverage areas, in an extension of FREDD that aims at detectingredundancies at the sink level. Finally, we propose several redundancy cleaningmechanisms to cope with the needs of data consumers (e.g., users, devices, services,and databases).We form a global framework called DRMCE that groups the aforementionedmodules for data redundancy detection in connected environments. Our proposalcan be used with different connected environments such as buildings, cities, and hospitals