Model of the driver's physiological state in conditionally automated driving

Road accidents are still one of the main causes of death in the world, despite all the technological advances made on cars since its invention. In particular, the driver's state is often the cause of these road accidents. To assist the driver, the level of automation of cars has increased in recent years, including advanced driver assistance systems. The next level of automation should be conditionally automated driving, where the driver is no longer responsible for the main driving task. In theory, this should reduce the number of accidents. But the fact that the driver can engage in non-driving related tasks could be very dangerous if the car suddenly requires him or her to take control. In addition, long periods of automated driving can also reduce drivers' alertness and ability to take over control in critical situations, up to causing an accident. In this regard, this thesis aims at proposing an approach to assess the driver's state continuously in the specific context of conditionally automated driving. This would allow to know if he or she is able to take over control when the car asks him or her. To achieve that goal, machine learning techniques and physiological signals were used to assess the driver's state. In particular, the prediction of four predictive risk factors was done as they are critical at this level of automation: fatigue, mental workload, affective state and situation awareness. The main contribution of this thesis is the design, implementation and validation of a model that assesses continuously the driver's state using physiological signals in conditionally automated driving (L3-SAE). This main contribution encompasses the realisation of sub-contributions to address several formulated research questions: the collection of a physiological dataset in the specific context of conditionally automated driving, the creation of a pipeline to train machine learning models able to predict the selected risk factors from the collected data, and a system to measure breathing non-intrusively. The results showed that the different risk factors could be predicted with an accuracy ranging from 73 to 99%. The fusion of physiological signals generally increased the accuracy, as did the segmentation of the signals. The physiological signals (or features) and the optimal time window to use to predict each risk factor are proposed from the results obtained with machine learning. The continuous predictions of the model in the final experiment were globally consistent and are encouraging for the use of this kind of model in our future cars. Furthermore, the sensor developed to measure breathing in a non-intrusive way proved that the breathing rate could be measured with an error of more or less one breath per second on average compared to a reference sensor. The work proposed in this thesis suggests that machine learning models can accurately predict various risk factors related to conditionally automated driving. This work can serve as a basis for improving driver condition assessment for automotive manufacturers. It can also be used in academic research, especially to further optimize the prediction of the different risk factors selected in this thesis.Les accidents de la route restent l'une des principales causes de décès dans le monde, malgré tous les progrès technologiques réalisés sur la voiture depuis son invention. En particulier, l'état du conducteur est souvent la cause de ces accidents de la route. Pour aider le conducteur, le niveau d'automatisation des voitures a augmenté ces dernières années, notamment avec les systèmes avancés d'aide à la conduite. Le prochain niveau d'automatisation devrait être la conduite conditionnellement automatisée, où le conducteur n'est plus responsable de la tâche principale de conduite. En théorie, cela devrait réduire le nombre d'accidents. Mais le fait que le conducteur puisse s'engager dans des tâches non liées à la conduite pourrait s'avérer très dangereux si la voiture lui demande soudainement de prendre le contrôle. En outre, de longues périodes de conduite automatisée peuvent également réduire la vigilance du conducteur et sa capacité à reprendre le contrôle dans des situations critiques, jusqu'à provoquer un accident. A cet égard, cette thèse vise à proposer une approche permettant d'évaluer l'état du conducteur en continu dans le contexte spécifique de la conduite automatisée conditionnelle. Pour atteindre cet objectif, des techniques d'apprentissage automatique et des signaux physiologiques ont été utilisés pour évaluer l'état du conducteur. En particulier, la prédiction de quatre facteurs de risque a été effectuée, étant jugés critiques à ce niveau d'automatisation : la fatigue, la charge mentale, l'état affectif et la conscience de situation. La principale contribution de cette thèse est la conception, l'implémentation et la validation d'un modèle qui évalue en continu l'état du conducteur à l'aide de signaux physiologiques en conduite conditionnellement automatisée (L3-SAE). Cette contribution principale comprend la réalisation de sous-contributions pour répondre à plusieurs questions de recherche formulées : la collecte d'un ensemble de données physiologiques dans le contexte spécifique de la conduite conditionnellement automatisée, la création d'un pipeline pour entraîner des modèles d'apprentissage automatique capables de prédire les facteurs de risque sélectionnés à partir des données collectées, et un système pour mesurer la respiration de manière non-intrusive. Les résultats ont montré que les différents facteurs de risque pouvaient être prédits avec une précision allant de 73 à 99%. La fusion des signaux physiologiques a généralement augmenté la précision, tout comme la segmentation des signaux. Les signaux physiologiques (ou les caractéristiques) et la fenêtre temporelle optimale à utiliser pour prédire chaque facteur de risque sont proposés à partir des résultats obtenus avec l'apprentissage automatique. Les prédictions continues du modèle dans l'expérience finale étaient globalement cohérentes et sont encourageantes pour l'utilisation de ce type de modèle dans nos futures voitures. En outre, le capteur développé pour mesurer la respiration de manière non intrusive a prouvé que le rythme respiratoire pouvait être mesuré avec une erreur de plus ou moins une respiration par seconde en moyenne par rapport à un capteur de référence. Le travail proposé dans cette thèse suggère que les modèles d'apprentissage automatique peuvent prédire avec précision divers facteurs de risque liés à la conduite conditionnellement automatisée. Ce travail peut servir de base pour améliorer l'évaluation de l'état du conducteur pour les constructeurs automobiles. Il peut également être utilisé dans la recherche académique, notamment pour optimiser davantage la prédiction des différents facteurs de risque sélectionnés dans cette thèse