L'approche par transférabilité : une réponse aux problèmes de passage à la réalité, de généralisation et d'adaptation

The design of controllers for robots that have to deal with unknown or poorly controlled environments is a difficult engineering problem. Evolutionary robotics tackles this challenge by developing automatic methods to design controllers that are based on black-box optimization processes using evolutionary algorithms. In this context, the performance values are estimated for each controller either directly on the robot or with a simulation. Assessing performance with the real robot and in all the possible situations is usually not consistent with the evaluation budgets required by these optimization methods. We here propose a general approach, which combines a multi-objective optimization process in a fixed simulation model, a surrogate model and a few experiments on the robot. This transferability approach can be applied to any optimization process conducted in a simplified environment (simulation) for a targeted full environment (robot). It looks for controllers that maximize two objectives: the performance in simulation and a transferability objective, which reflects how well the behavior observed in simulation matches the behavior on the robot. The second objective is estimated by a surrogate model built by performing a few transfer experiments on the robot while optimizing controllers. The approach is applied on three open problems from evolutionary robotics: the reality gap problem, the optimization of controllers with generalization abilities and the adaptation of a robot to its environment.Il est difficile de concevoir des contrôleurs pour des robots devant fonctionner dans des environnements peu maîtrisés voire inconnus. Dans cette optique, la robotique évolutionniste cherche à élaborer des méthodes de conception automatique de contrôleurs via un processus d'optimisation ''boîte noire'' utilisant des algorithmes évolutionnistes. Les valeurs de performance d'un contrôleur donné sont alors estimées soit directement sur le robot, soit à l'aide d'une simulation, par essence simplificatrice. Partant du constat qu'évaluer sur le robot et dans toutes ses situations d'utilisation est généralement incompatible avec le nombre d'évaluations requis par de tels processus d'optimisation, nous proposons une approche générale combinant un processus d'optimisation multi-objectif dans un simulateur fixe, un modèle de substitution et quelques tests sur le robot. Cette approche par transférabilité peut s'appliquer à tout processus d'optimisation mené dans un environnement simplifié (simulation) pour un environnement complet ciblé (robot) et recherche les contrôleurs qui maximisent deux objectifs : la performance dans l'environnement simplifié et un objectif de transférabilité qui indique à quel point le comportement dans l'environnement simplifié est proche de celui dans l'environnement complet. Ce deuxième objectif est estimé par un modèle de substitution construit en effectuant quelques expériences de transfert sur le robot pendant l'optimisation. L'approche est validée sur trois problèmes de robotique évolutionniste : le passage de la simulation à la réalité, l'optimisation de contrôleurs dotés de capacités de généralisation et l'adaptation d'un robot à son environnement