Machine learning for autonomous driving decisions for guided vehicles : Application in the railway sector

Les véhicules autonomes promettent de révolutionner le domaine des transports avec des avantages liés à la sécurité, à la commodité et à l'efficacité. Si la voiture autonome est le véhicule ayant jusque-là concentré le plus d'attention, le secteur du transport ferroviaire cherche aussi à profiter de ces avancées vers l'autonomie. L'un des défis majeurs de l'adoption de véhicules autonomes réside dans leur capacité à gérer les situations dangereuses et notamment à éviter les collisions avec d'autres objets évoluant dans le même environnement. Pour y parvenir, ces véhicules doivent embarquer des systèmes capables de prendre des décisions de conduite assurant la sécurité des biens et des personnes. Cette thèse vise à l'élaboration de stratégies de prise de décision pour des véhicules guidés autonomes en évitant les collisions, via le contrôle de leur vitesse. L'objectif principal de cette thèse est de proposer des solutions utilisant l'apprentissage machine pour résoudre ce défi. Après un état de l'art concentré sur les approches d'IA pour l'évitement de collision et la planification du mouvement de véhicules autonomes, la contribution scientifique de cette thèse est présentée. Cette contribution consiste en la proposition de deux méthodes et d'une architecture de réseau de neurone. La première méthode utilise l'apprentissage par imitation pour entrainer un agent à imiter un expert dans cette tâche d'évitement de collision. Cette méthode utilise en entrée une représentation sous la forme d'un vecteur de variables explicatives et envoie au véhicule une consigne de vitesse à suivre. La seconde utilise l'apprentissage par renforcement pour maximiser une fonction de récompense favorisant une conduite sécuritaire et efficiente en termes de temps de trajet. La représentation utilisée en entrée de cette méthode est une séquence de grilles d'occupation et la sortie du modèle est une valeur d'accélération. Finalement, une architecture de réseau de neurone innovante est proposée consistant à l'ajout d'une tâche auxiliaire de prédiction de trajectoire des obstacles à un modèle d'apprentissage par renforcement. Cette tâche auxiliaire apporte à l'agent des informations d'anticipation en forçant la représentation intermédiaire à être prédictive.La contribution de cette thèse a été appliquée sur deux types de véhicules : un train de fret et un tramway. La validation s'est faite sur un simulateur que nous avons développé ainsi que sur le simulateur Pschitt du laboratoire LAMIH. Les résultats montrent que les méthodes et l'architecture proposées sont efficaces pour gérer ces situations de conduite en présence d'obstacles en mouvement. Ces travaux ont été développés dans le cadre du projet collaboratif Train de Fret Autonome (TFA) composé de Railenium, SNCF, Alstom Transport, Hitachi Rail STS, Capgemini Engineering et Airbus Protect.Autonomous vehicles promise to revolutionise transport with benefits related to safety, convenience and efficiency. Although the self-driving car is the vehicle that has received the most attention so far, the rail transport sector is also looking to take advantage of these advances towards autonomy. One of the major challenges in the adoption of autonomous vehicles is their ability to deal with dangerous situations and in particular to avoid collisions with other objects in the same environment. To achieve this, these vehicles need to have on-board systems that can make driving decisions to ensure the safety of people and goods. This thesis aims to develop decision-making strategies for autonomous guided vehicles in collision avoidance by controlling their speed. The main objective of this thesis is to propose solutions using machine learning to solve this challenge. After a state of the art focused on AI approaches for collision avoidance and motion planning of autonomous vehicles, the scientific contribution of this thesis is presented. This contribution consists in the proposal of two methods and a neural network architecture. The first method uses imitation learning to train an agent to imitate an expert in this collision avoidance task. This method uses a vector of predictors as input and sends the vehicle a speed target to follow. The second method uses reinforcement learning to maximise a reward function that encourages safe and time-efficient driving. The input representation used in this method is a sequence of occupancy grids and the output of the model is an acceleration value. Finally, an original neural network architecture is proposed consisting in the addition of an auxiliary task of obstacle trajectory prediction to a reinforcement learning model. This auxiliary task provides anticipatory information to the agent by forcing the intermediate representation to be predictive.The contribution of this thesis has been applied to two types of vehicles: a freight train and a tramway. The validation was done on a collision avoidance simulator that we developed and on the Pschitt simulator developed at LAMIH UMR CNRS 8201. The results show that the proposed methods and architecture are effective in managing these driving situations in the presence of moving obstacles. This work was developed within the context of the collaborative project Train de Fret Autonome (TFA) composed of Railenium, SNCF, Alstom Transport, Hitachi Rail STS, Capgemini Engineering and Airbus Protect