Optimization of sequential employment and predictive maintenance policies for multi-component systems

On présente un problème d'optimisation pour la maintenance d'un système multi-composants conçu par Thales. Ce dernier est sujet à des détériorations et défaillances aléatoires de ses composants, au cours de missions pour lesquelles il est requis, entraînant l'évolution de son état et une pénalité d'indisponibilité en cas d’échec. L’enjeu est alors de définir une politique optimale d'emploi et de maintenance du système, afin de garantir le bon déroulement des missions, tout en minimisant ses coûts de gestion. Il s’agit de déterminer un compromis entre intervenir trop tôt, générant des coûts de maintenances inutiles, et intervenir trop tard, menant à la panne du système et à payer des pénalités et des opérations plus coûteuses.Une des spécificités de ce travail est de considérer une prise de décision séquentielle sur le système. Ensuite, il s’agit de différencier les opérations de maintenance selon l’état de chacun de ses composants. L'idée principale de ce travail est alors de proposer un modèle mathématique pour l'évolution du système via le formalisme d'un Processus Markovien Décisionnel (MDP). Ainsi, l’objectif est de résoudre le problème d’optimisation associé, à savoir déterminer pour chaque date de décision et chaque état du système, l’action qui minimise la somme des coûts générés sur tout l’horizon. C’est ce qu’on appelle une politique. On propose ensuite plusieurs politiques de référence préventives et correctives et on compare leurs performances en termes de coûts et de statistiques de pannes, par simulations de Monte-Carlo. Ceci illustre l'intérêt de regrouper les maintenances lors des passages en atelier, et de considérer les temps de fonctionnement des composants pour les prises de décision, afin de réduire à la fois les coûts et le taux de pannes.Le modèle spécifié pour cette problématique industrielle donne lieu à un problème d’optimisation non standard dans le cadre des MDP, car l'espace d’états du système est continu et le noyau de transition n'est pas explicite analytiquement, mais seulement simulable. Afin de pouvoir rechercher une politique optimale sur un ensemble fini de politiques admissibles, on discrétise la règle de décision du MDP. Ceci permet de prendre des décisions sur un nombre fini d’états, sans discrétiser la dynamique du MDP. Les coûts des politiques de référence sont utilisés pour calibrer cette discrétisation. Il s’agit de déterminer un compromis entre précision, conduisant à considérer un très grand nombre d’états, et une complexité numérique, conduisant à un nombre d'états le plus petit possible. Enfin, le noyau de transition n’étant toujours pas explicite, on implémente et on compare deux méthodes d'optimisation stochastiques basées sur les simulations afin d'approcher et d’expliciter une politique optimale. Une attention particulière est portée à l’identification de l’origine des gains, afin d’interpréter la politique optimale déterminée.We present an optimization problem for the maintenance of a multi-component system designed by Thales. This system is subject to random deteriorations and failures of its components, during the missions for which it is required, leading to the evolution of its state and an unavailability penalty in case of failure. The challenge is then to define an optimal policy for the use and maintenance of the system, in order to guarantee the good progress of the missions, while minimizing its management costs. It is a question of determining a compromise between intervening too early, generating unnecessary maintenance costs, and intervening too late, leading to the failure of the system and to paying penalties and more expensive operations.One of the specificities of this work is to consider a sequential decision making on the system. Then, it is about differentiating the maintenance operations according to the state of each of its components. The main idea of this work is then to define a mathematical model for the evolution of the system via the formalism of a Markovian Decision Process (MDP). Thus, the objective is to solve the associated optimization problem, i.e. to determine for each decision date and each state of the system, the action that minimizes the sum of the costs generated over the whole horizon. This is called a policy. We define several preventive and corrective reference policies and compare their performances in terms of costs and failure statistics, by Monte-Carlo simulations. This illustrates the interest of grouping the maintenances during the workshop visits, and of considering the operating times of the components for decision making, in order to reduce both the costs and the failure rate.The model specified for this industrial problem gives rise to a non-standard optimization problem in the MDP framework, because the system state space is continuous and the transition kernel is not analytically explicit, but only simulatable. In order to be able to search for an optimal policy over a finite set of admissible policies, we discretize the MDP decision rule. This allows decisions to be made over a finite number of states, without discretizing the MDP dynamics. The costs of the reference policies are used to calibrate this discretization. The goal is to determine a compromise between precision, leading to consider a very large number of states, and numerical complexity, leading to the smallest possible number of states. Finally, as the transition kernel is still not explicit, we implement and compare two stochastic optimization methods based on simulations in order to approach and make explicit an optimal policy. Particular attention is given to identifying the origin of the benefits, in order to interpret the determined optimal policy