Création de systèmes de contrôle de feux à l’aide de méthodes d’apprentissage par renforcement

This thesis studies the problem of traffic optimization through traffic light signals on road networks. Traffic optimization is achieved in our case through the use of reinforcement learning, a branch of machine learning in which an agent solves a given task in an environment by maximizing its reward signals.First, we present the fields of traffic signal control (TSC) and reinforcement learning (RL) separately, before presenting how the latter is applied on the former (RL-TSC). Then, we define a mathematical model of traffic based on graph theory, before introducing the reinforcement learning model, traffic simulator and deep reinforcement learning library created for our research work.Finally, these definitions allow us to build an efficient traffic signal control method based on reinforcement learning.We first study multiple classical reinforcement learning techniques on an isolated traffic intersection. Multiple classes of RL algorithms are compared (e.g. Q-learning, LRP, actor-critic) to deterministic TSC methods used as a baseline. We then introduce function approximation methods using deep neural networks, allowing for significant performance improvement on isolated intersections. These experiments allow us to single out dueling deep Q-learning as the best isolated RL-TSC method for out model.On this basis, we introduce the concept of agent coordination in multi-agent reinforcement learning systems (MARL). We compare multiple modes of coordinaiton to the isolated baseline that we previously defined. These experiments allow us to define the DEC-DQN coordination method, which allows for multiple agents of a POMDP to communicate in order to better optimize traffic. DEC-DQN uses a deep neural network shared by all agents of the network, allowing them to learn a common communication protocol from scratch. In order to correctly reward communication actions, which are entirely distinct from traffic optimization actions taken by agents, DEC-DQN defines a special reward function allowing each agent to directly estimate the impact of its communications on neighboring agents of the network. Communicaiton action rewards are directly estimated on the traffic optimization neural networks of neighboring intersections.Finally, this novel cooridnation method is compared to other methods of the literature on a large-scale simulation. The DEC-DQN algorithm results in faster agent learning, as well as increased performance and stability thanks to agent coordination.Ces travaux de thèse étudient en détail la problématique d'optimisation du trafic par le biais du contrôle des feux de signalisation d'un réseau routier. Cette optimisation passe par l'utilisation de techniques d'apprentissage par renforcement, branche du machine learning permettant à un agent de résoudre une tâche dans un environment en maximisant ses signaux de récompenses.Dans un premier temps, les champs respectifs du contrôle de feux et de l'apprentissage par renforcement sont présentés, permettant ensuite d'introduire le domaine du contrôle de feu par apprentissage par renforcement. Dans un second temps, nous définissons un modèle mathématique du trafic utilisant des notions de théorie des graphes, ainsi que le modèle d'apprentissage, le simulateur de trafic et la librairie d'apprentissage par renforcement spécialement définie pour nos expérimentations. Dans un troisième et dernier temps, ces définitions nous permettent de construire une méthode d'optimisation du trafic performante.Nous étudions premièrement différentes méthodes d'apprentissage par renforcement sur une intersection isolée. Plusieurs grandes familles d'algorithmes (Q-learning, LRP, acteur-critique) sont comparés à des méthodes deterministes. Nous introduisons ensuite des méthodes d'approximation par réseau de neurones profonds, permettant d'augmenter sensiblement la performance de ces méthodes sur une intersection seule. Ces expérimentations nous permettent alors d'isoler le double deep Q-learning (DDQN) comme la méthode la plus adaptée pour le contrôle de feux.Sur cette base, nous introduisons ensuite le concept de coordination dans un système multi-agents d'apprentissage par renforcement (MARL). Là encore, plusieurs modes de coordination sont comparées à la méthode isolée définie précédemment. Plus particulièrement, nous définissons une nouvelle méthode, DEC-DQN, qui permet à plusieurs agents d'une POMDP de communiquer afin de mieux optimiser le trafic routier. DEC-DQN utilise un réseau de neurone commun à tous les agents du système, ce qui leur permet d'apprendre eux-même la meilleure façon de communiquer. Afin de correctement récompenser les actions de communication de chaque agent, qui sont distinctes de leurs actions d'optimisation du trafic par le contrôle de feux, DEC-DQN définit une fonction de récompense qui permet à chaque agent d'estimer l'effet de son action de communication sur les agents voisins. Cette estimation se fait directement à l'aide des réseaux de neurones servant au choix d'actions d'optimisation des intersections voisines.Cette nouvelle méthode de coordination est finalement comparée à d'autres méthodes de coordination phares de la litérature. La méthode DEC-DQN permet un apprentissage accéleré du routage de trafic par les agents, tout en montrant des performances et stabilité supérieures aux autres méthodes testées