Une approche avec l’apprentissage par renforcement profond pour le protocole IRSA

Irregular Repetition Slotted Aloha (IRSA) is one candidate member of a family of random access-based protocols to solve massive connectivity problem for Internet of Things (IoT) networks. The key features of this protocol is to allow users to repeat their packets multiple times in the same frame and use Successive Interference Cancellation (SIC) to decode collided packets at the receiver. Although, the plain IRSA scheme can asympotically reach the optimal 1 [packet/slot]. But there are still many obstacles to achieve this performance, specially when considering short frame length. In this report, we study two new variants of IRSA with short frame length, and we optimize their performance using a Deep Reinforcement Learning approach. In our first variant, Random Codeword Selection-IRSA (RC-IRSA), we consider an IRSA approach with random codeword selection, where each codeword represents the transmission strategy of a user on the slots. We apply a Deep Reinforcement Learning to optimize RC-IRSA: we train a Deep Neural Network model that choses the slots on which the user sends its packets. Our DRL approach for RC-IRSA is a new optimization method for IRSA using a DRL approach and it works as a base for our second proposed IRSA variant DS-IRSA.Our second variant is a sensing protocol based on IRSA and trained with machine learning to synchronize the nodes during the transmission and avoid collisions. For that aim, we proposed DS-IRSA, Deep Learning Sensing-based IRSA protocol which is composed of two phases: a sensing phase, where the nodes can sense the channel and send short jamming signals, followed by a classical IRSA transmission phase. We use a DRL algorithm to optimize its performance. Our proposed protocol has shown an excellent performance to achieve an optimal performance of almost 1 [decoded user/slot] for small frame sizes (≤ 5) slots and with enough sensing duration.Irregular Repetition Slotted Aloha (IRSA) est un candidat d’une famille de protocoles d’accès aléatoire pour résoudre le problème de la connectivité massive pour les réseaux de l’internet des objets (IoT). Les principales caractéristiques de ce protocole sont de permettre aux utilisateurs de répéter leurs paquets plusieurs fois dans la même trame et d’utiliser l’annulation successive d’interférences (SIC) au niveau du récepteur pour décoder les paquets en collision. Le protocole IRSA simple peut asympotiquement atteindre le 1 [paquet/slot] optimal. Mais il existe encore de nombreux obstacles pour atteindre ces performances, en particulier lorsque l’on considère une longueur courte de trame. Dans ce rapport, nous étudions deux nouvelles variantes d’IRSA avec une longueur courte de trame, et nous optimisons leurs performances en utilisant une approche d’apprentissage par renforcement profond (DRL). Dans notre première variante, Random Codeword Selection-IRSA (RC-IRSA), nous considérons une approche IRSA avec sélection aléatoire de mots de code, où chaque mot de code représente la stratégie de transmission d’un utilisateur sur les slots. Nous appliquons un DRL pour optimiser le RC-IRSA : nous utilisons un modèle avec des réseaux de neurones multi-couches qui choisit les slots sur lesquels l’utilisateur envoie ses paquets. Notre approche DRL pour RC-IRSA est une nouvelle méthode d’optimisation pour IRSA utilisant une approche DRL et elle fonctionne comme une base pournotre proposition de deuxième variante d’IRSA, DS-IRSA. Cette deuxième variante est un protocole d’écoute basé sur IRSA et entraîné avec un model d’apprentissage automatique pour synchroniser les nœuds pendant la transmission et éviter les collisions. Ainsi, nous proposons DS-IRSA, le protocole IRSA basé sur le DRL qui est composé de deux phases : une phase de détection, où les nœuds peuvent détecter le canal et envoyer de courts signaux de d’occupation du canal, suivie d’une phase de transmission IRSA classique. Nous utilisons un algorithme DRL pour optimiser ses performances. Notre protocole proposé a montré d’excellentes performances et atteint une performance optimale de près de 1 [utilisateur décodé/slot] pour les petites tailles de trame (≤ 5) slots et avec une durée de détection suffisante