Emplacement des modèles de reconnaissance visuelle de lieu

This thesis deals with the task of appearance-based mapping and place recognition for mobile robots. More specifically, this work aims to identify how location models can be improved by exploring several existing and novel location representations in order to better exploit the available visual information. Appearance-based mapping and place recognition presents a number of challenges, including making reliable data-association decisions given repetitive and self-similar scenes (perceptual aliasing), variations in view-point and trajectory, appearance changes due to dynamic elements, lighting changes, and noisy measurements. As a result, choices about how to model and compare observations of locations is crucial to achieving practical results. This includes choices about the types of features extracted from imagery, how to define the extent of a location, and how to compare locations. Along with investigating existing location models, several novel methods are developed in this work. These are developed by incorporating information about the underlying structure of the scene through the use of covisibility graphs which capture approximate geometric relationships between local landmarks in the scene by noting which ones are observed together. Previously, the range of a location generally varied between either using discrete poses or loosely defined sequences of poses, facing problems related to perceptual aliasing and trajectory invariance respectively. Whereas by working with covisibility graphs, scenes are dynamically retrieved as clusters from the graph in a way which adapts to the environmental structure and given query. The probability of a query observation coming from a previously seen location is then obtained by applying a generative model such that the uniqueness of an observation is accounted for. Behaviour with respect to observation errors, mapping errors, perceptual aliasing, and parameter sensitivity are examined, motivating the use of a novel normalization scheme and observation likelihoods representations. The normalization method presented in this work is robust to redundant locations in the map (from missed loop-closures, for example), and results in place recognition which now has sub-linear complexity in the number of locations in the map. Beginning with bag-of-words representations of locations, location models are extended in order to include more discriminative structural information from the covisibility map. This results in various representations ranging between unstructured sets of features and full graphs of features, providing a tradeoff between complexity and recognition performance.Cette thèse traite de la cartographie et de la reconnaissance de lieux par vision en robotique mobile. Les recherches menées visent à identifier comment les modèles de localisation peuvent être améliorés en enrichissant les représentations existantes afin de mieux exploiter l’information visuelle disponible. Les problèmes de la cartographie et de la reconnaissance visuelle de lieux présentent un certain nombre de défis : les solutions doivent notamment être robustes vis-à-vis des scènes similaires, des changements de points de vue de d’éclairage, de la dynamique de l’environnement, du bruit des données acquises. La définition de la manière de modéliser et de comparer les observations de lieux est donc un élément crucial de définition d’une solution opérationnelle. Cela passe par la spécification des caractéristiques des images à exploiter, par la définition de la notion de lieu, et par des algorithmes de comparaison des lieux. Dans la littérature, les lieux visuels sont généralement définis par un ensemble ou une séquence d’observations, ce qui ne permet pas de bien traiter des problèmes de similarité de scènes ou de reconnaissance invariante aux déplacements. Dans nos travaux, le modèle d’un lieu exploite la structure d’une scène représentée par des graphes de covisibilité, qui capturent des relations géométriques approximatives entre les points caractéristiques observés. Grâce à cette représentation, un lieu est identifié et reconnu comme un sous-graphe. La reconnaissance de lieux exploite un modèle génératif, dont la sensibilité par rapport aux similarités entre scènes, aux bruits d’observation et aux erreurs de cartographie est analysée. En particulier, les probabilités de reconnaissance sont estimées de manière rigoureuse, rendant la reconnaissance des lieux robuste, et ce pour une complexité algorithme sous-linéaire en le nombre de lieux définis. Enfin les modèles de lieux basés sur des sacs de mots visuels sont étendus pour exploiter les informations structurelles fournies par le graphe de covisibilité, ce qui permet un meilleur compromis entre la qualité et la complexité du processus de reconnaissance