Contribution to energy optimization in WSN: routing based on RL and SDN oriented routing

Les réseaux de capteurs sans fil (WSN) ont atteint une grande importance, car ces réseaux permettent des observations réelles en raison de leur déploiement technique dans de nombreuses applications mondiales et de la faible consommation énergétique des appareils informatiques. Ces réseaux se composent de plusieurs micro-capteurs de faible puissance et à moindre coût. La communication multi-sauts à faible débit est faite par une petite partie des nœuds, mais avec une bande passante limitée. Par conséquent, les appareils individuels transmettent leurs données à un dispositif central (par exemple, un nœud-puits) en détectant le milieu environnant à travers les multi-sauts. Les applications de WSN comprennent principalement la surveillance des soins de santé, la surveillance de l'environnement, la surveillance industrielle, le suivi des cibles et de nombreux autres domaines commerciaux. Ces types d'applications WSN sont des nœuds de faible puissance qui restent actifs après leur déploiement initial à long terme sans aucunes commandes externes. Un nœud déchargera sa batterie en quelques jours lorsqu'aucune approche écoénergétique n'est utilisée pour la communication. Cela a conduit les chercheurs à élaborer des protocoles de routage qui devraient être en mesure de minimiser la consommation d'énergie. La consommation d'énergie des WSN peut être réduite en gérant les ressources de réseau. À cette fin, certaines architectures réseaux (c.-à-d. le réseau à définition logicielle (SDN)) et les techniques d'apprentissage (c.-à-d. l'apprentissage par renforcement (RL)) peuvent être utilisées pour la gestion du réseau (routage) permettant de réduire la consommation d'énergie des nœuds. L'une des solutions proposées est la technique RL pour surmonter le problème de routage. RL est une catégorie d'apprentissage automatique (ML) qui fournit un cadre pour apprendre le système à partir de ses interactions antérieures avec l'environnement afin de sélectionner l'action future efficacement. Dans RL, l'apprenant est considéré comme un agent qui interagit avec son environnement pour sélectionner la prochaine action qui serait appliquée à l'environnement. De plus, il reçoit un retour, en termes de récompense, qui peut être positif ou négatif, selon l'action effectuée. Par exemple, pour prendre la décision de routage, le routeur interagit avec les nœuds voisins pour sélectionner le prochain expéditeur pour la transmission du paquet de données jusqu'à la destination (c.-à-d. la station de base (BS) ou le nœud-puits). Dans ce cas, le routeur est un agent, les nœuds voisins se comportent comme l'environnement de cet agent, et l'action est de choisir les prochains nœuds voisins pour envoyer les paquets de données. RL peut être un bon choix pour trouver une route où la consommation d'énergie réseau est réduite afin d'améliorer la durée de vie. Une autre solution proposée est le concept de SDN pour dépasser le problème de routage. Il peut être défini comme une architecture émergente des réseaux pour extraire la partie contrôle du réseau qui est précisément programmable. Ce nouveau paradigme est considérablement prometteur pour gérer l'évolution et la gestion de réseau. L'idée de base derrière ce concept est la même que les ressources informatiques et le stockage. Dans cette thèse, nous proposons des mécanismes écoénergétiques dans les WSN à des fins de routage pour prolonger la durée de vie du réseau. Le travail proposé est effectué en utilisant deux techniques différentes, à savoir RL et SDN. La première partie de cette thèse fournit un détail complet des mécanismes éconergétique existants ; tandis que la deuxième partie contient les techniques proposées. Les techniques proposées sont divisées en deux parties : la première partie gère les demandes de nœuds voisins (paquets de contrôle) de trois façons, à savoir l'acceptation basée sur la distance (un voisin accepte la demande qui est plus proche du noeud-puits), l'acceptation sensible à l'équilibrage de charge (équilibre une charge entre les nœuds), l'acceptation consciente de la conservation de la qualité (considère la qualité de service (QoS) du réseau avant d'accepter la demande voisine). Alors que, la deuxième partie des techniques proposées sélectionne le nœud voisin pour transmettre les données jusqu'à la destination. Elle dispose également de trois méthodes telles que l'epsilon gourmand adaptatif (utilise l'epsilon dynamique et le facteur de convergence optimal pour explorer les nouvelles solutions de transfert de données), l'epsilon gourmand multicritères (utilise différents scénarios pour sélectionner le nœud expéditeur, tels que la sélection aléatoire, la sélection gourmande, la sélection des paramètres basée sur le poids) et epsilon multicritères gourmand adaptatif (c.-à-d. que l'epsilon dynamique et le facteur de convergence optimal sont utilisés dans la sélection gourmande d'epsilon multicritères). Nous proposons également un protocole de routage multi-sauts écoénergétique SDN (EASDN) pour le réseau de capteurs sans fil défini logiciellement (SDWSN). Le concept de SDN est mis en œuvre en temps réel sur une plate-forme matérielle pour le travail expérimental en termes de durée de vie du réseau, de consommation d'énergie moyenne, et de taux de livraison de paquets. La dernière partie de cette thèse est une combinaison de RL et SDN, où RL est appliqué au contrôleur SDN qui génère les tables de routage en fonction de la réception d'une récompense. La performance de SDWSN basée sur RL est comparée aux techniques de routage basées sur RL. Ainsi, tout au long de cette thèse, nous proposons les solutions pour améliorer la durée de vie du réseau. Tous les résultats obtenus sont basés sur des travaux expérimentaux qui ont été effectués sur un banc d'essai réel (c.-à-d., à l'aide de raspberry pi).Wireless Sensor Networks (WSNs) have achieved great significance as these networks allow real-world observations because of their technical deployment into many global applications and low-power usage of computing devices. These networks consist of several on-chip sensors that are low-power and low-cost. The multi-hop communication at low data rates is made by a small range of communication of sensor nodes, but with limited bandwidth. Therefore, individual devices transmit their data to a central device (e.g., sink) by detecting the surrounding environment through the multiple-hops. WSNs applications mainly include healthcare monitoring, environmental monitoring, industrial monitoring, target tracking, and many other commercial areas. Such types of WSNs applications are low-powered nodes that remain active after their initial deployment for long-term without any external control. A node will discharge its battery in a couple of days when no energy-efficient approach is used for communication. It leads the researchers to develop routing protocols that should be able to minimize energy consumption. WSNs energy consumption can be reduced by managing network resources. For this purpose, some networking architectures (i.e., Software Defined Networking (SDN)) and learning techniques (i.e., Reinforcement Learning (RL)) can be used for network management (routing) that lead to reduce the energy consumption of sensor nodes. One of the solutions being proposed is the RL technique to overcome the routing problem. RL is a class of machine learning (ML) which provides a framework to learn the system from its previous interactions with environment to select future action efficiently. In RL, the learner is known as an agent that interacts with its environment to select the next action that would be applied to the environment. Also, it gets the feedback in terms of reward that can be positive or negative according to performed action. For example, to make the routing decision, the router interacts with neighboring nodes to select the next forwarder for the data packet transmission up to the destination (i.e., Base Station (BS) or sink node). In such case the router is an agent, the neighboring nodes behave as an environment for that agent, and actions select the next neighboring nodes to send the data packets. RL can be a good choice to optimize a routing path where network energy consumption is reduced to enhance the lifetime. Another proposed solution is the concept of SDN to overcome the routing problem. It can be defined as an emergent architecture of networks to carry out the decoupling of network control that is precisely programmable. This novel paradigm is dramatically promising to enable evolution and network management. The basic idea behind this concept is the same as computing resources and storage. In this thesis, we propose energy-efficient mechanisms in WSNs for the routing purposes to extend the network's lifetime. The proposed work is performed by using two different techniques, namely as RL and SDN. The first part of this thesis provides a comprehensive detail of existing energy-efficient mechanisms; while, the second part contains the proposed techniques. The proposed techniques are divided into two parts: the first part handles the neighboring node requests (control packets) in three ways, namely distance-based accept (a neighbor accepts the request which is closer to sink), load balancing-aware accept (balances a load between the nodes), and quality conserving-aware accept (considers the Quality-of Service (QoS) of the network before accepting the neighboring request). While, the second part of the proposed techniques selects the neighboring node to forward the data up to the destination. It also has three methods such as adaptive epsilon greedy (uses the dynamic epsilon and optimal convergence factor to explore the new solutions for data forwarding), multicriteria epsilon greedy (uses different scenarios to select the forwarder node, such as random selection, greedy selection, parameters weight-based selection), and adaptive epsilon multicriteria greedy (i.e., dynamic epsilon and optimal convergence factor are used in multicriteria epsilon greedy selection). We also propose an Energy-Aware SDN based multi-hop routing protocol (EASDN) for Software Defined Wireless Sensor Network (SDWSN). The concept of SDN is implemented in real-time on a hardware platform for experimental work in terms of network lifetime, average energy consumption, and the packet delivery ratio. The last part of this thesis is a combination of both RL and SDN, where RL is applied to the SDN controller that generates the routing tables according to receive a reward. The performance of RL-based SDWSN is compared with RL-based routing techniques. Thus, throughout this thesis we propose the solutions to enhance the network lifetime. All the obtained results are based on experimental work that was performed on real testbed (i.e., using Raspberry pi)