Découverte d'affordances en milieu ouvert par l'apprentissage de propriétés visuelles pertinentes

L'analyse de scène est un problème difficile en vision par ordinateur et en robotique. Il s'agit généralement d'un processus d'observation seul, dans lequel le robot acquiert des données sur son environnement par le biais de ses capteurs extéroceptifs puis les traite avec des algorithmes spécifiques (par exemple les réseaux de neurones profonds dans les approches modernes), afin de produire une interprétation de la scène: 'Ceci est une chaise parce que cela ressemble à une chaise'. Pour qu'un robot opère correctement dans son environnement, il doit le comprendre. Il doit lui donner du sens en lien avec ses motivations et ses capacités d'action. Nous pensons que l'analyse de scène requiert une interaction avec l'environnement, dans lequel la perception, l'action et la proprioception sont intégrées. Le travail décrit dans cette thèse explore cette perspective, qui s’inspire des travaux en psychologie et neuroscience montrant le lien étroit qui existe entre action et perception. James J. Gibson a introduit le concept d'affordance en 1977. Il y propose que les animaux ont tendance à percevoir leur environnement en fonction de ce qu'ils peuvent accomplir avec (ce qu'il leur afforde), plutôt qu'en fonction de ses propriétés intrinsèques: 'Ceci est une chaise parce que je peux m'asseoir dessus'. Il existe une variété d'approches qui étudient les affordances en robotique, beaucoup s'accordent pour représenter une affordance comme un triplet (effet, (action, entité)), tel qu'un certain effet soit généré lorsque une certaine action est exercée sur une certaine entité. Cependant, la plupart des auteurs utilisent des descripteurs prédéfinies pour décrire l'environnement. Nous pensons que l'apprentissage d'affordance sur des descripteurs prédéfinies va à l’encontre de leur objectif, en les limitant au sous-espace perceptuel défini par ces descripteurs. De plus, nous affirmons qu'il est impossible de prédéfinir un ensemble de descripteurs suffisamment général pour des environnements ouverts. Dans cette thèse, nous proposons et développons une approche permettant à un robot d’apprendre des affordances en construisant simultanément les descripteurs pertinents de l’environnement. Pour amorcer la découverte d'affordance, nous utilisons une boucle d’interaction classique. Le robot exécute une séquence de commandes motrices (action a) sur une partie de l'environnement ('objet' o) décrit à l'aide d'un ensemble prédéfini de descripteurs initiaux (couleur et taille) et observe le résultat (effet e). En itérant ce processus, un jeu de données d'instances (e, (a, o)) est créé. Cet ensemble de données est ensuite utilisé pour apprendre un modèle prédictif d'affordance. Pour apprendre un nouveau descripteur, la même boucle est employée pour entraîner un réseau de neurones convolutifs (CNN). Les données brutes (images 2D) de l'objet o sont utilisées en tant qu'entrée et l'effet e en tant que sortie attendue. L'action est implicite, un CNN différent est instancié pour chaque action. L'entraînement est auto-supervisée car les données d'interaction sont produites par le robot lui-même. Pour pouvoir prédire correctement les affordances, le réseau doit extraire des caractéristiques visuelles pertinentes dans cet environnement et pour les capacités motrices du robot. Les caractéristiques apprisent par la méthode sont ensuite ajoutées au jeu de descripteurs initial. Pour que l'apprentissage fonctionne en milieu ouvert, nous ajoutons un critère de d'ambiguïté. Si l'agent exécute une même action sur deux objets apparemment similaires (selon l'ensemble de descripteurs actuel), mais n'observe pas le même effet, alors il doit supposer qu'il ne possède pas les descripteurs requis pour distinguer ces objets selon cette action, il doit donc découvrir et apprendre ces nouveaux descripteurs pour réduire cette ambiguïté. Plusieurs expériences sur robot réel ont montré que nous pouvons atteindre des performances prédictives similaires aux approches classiques [...]Scene understanding is a challenging problem in computer vision and robotics. It is traditionally addressed as an observation only process, in which the robot acquires data on its environment through its exteroceptive sensors, and processes it with specific algorithms (using for example Deep Neural Nets in modern approaches), to produce an interpretation: 'This is a chair because this looks like a chair'. For a robot to properly operate in its environment it needs to understand it. It needs to make sense of it in relation to its motivations and to its action capacities. We believe that scene understanding requires interaction with the environment, wherein perception, action and proprioception are integrated. The work described in this thesis explores this avenue which is inspired by work in Psychology and Neuroscience showing the strong link between action and perception. The concept of affordance has been introduced by James J. Gibson in 1977. It states that animals tend to perceive their environment through what they can accomplish with it (what it affords them), rather than solely through its intrinsic properties: 'This is a chair because I can sit on it.'. There is a variety of approaches studying affordances in robotics, largely agreeing on representing an affordance as a triplet (effect, (action, entity)), such that the effect effect is generated when action action is exerted on entity entity. However most authors use predefined features to describe the environment. We argue that building affordances on predefined features is actually defeating their purpose, by limiting them to the perceptual subspace generated by these features. Furthermore we affirm the impracticability of predefining a set of features general enough to describe entities in open-ended environments. In this thesis, we propose and develop an approach to enable a robot to learn affordances while simultaneously building relevant features describing the environment. To bootstrap affordance discovery we use a classical interaction loop. The robot executes a sequence of motor controls (action a) on a part of the environment ('object' o) described using a predefined set of initial features (color and size) and observes the result (effect e). By repeating this process, a dataset of (e, (a, o)) instances is built. This dataset is then used to train a predictive model of the affordance. To learn a new feature, the same loop is used, but instead of using a predefined set of descriptors of o we use a deep convolutional neural network (CNN). The raw data (2D images) of o is used as input and the effect e as expected output. The action is implicit as a different CNN is trained for each specific action. The training is self-supervised as the interaction data is produced by the robot itself. In order to correctly predict the affordance, the network must extract features which are directly relevant to the environment and the motor capabilities of the robot. Any feature learned by the method can then be added to the initial descriptors set. To achieve open-ended learning, whenever the agent executes the same action on two apparently similar objects (regarding a currently used set of features), but does not observe the same effect, it has to assume that it does not possess the relevant features to distinguish those objects in regard to this action, hence it needs to discover and learn these new features to reduce ambiguity. The robot will use the same approach to enrich its descriptor set. Several experiments on a real robotic setup showed that we can reach predictive performance similar to classical approaches which use predefined descriptors, while avoiding their limitation