Segmentation sémantique interactive d'images aériennes avec des réseaux de neurones profonds

We propose in this thesis to build up a collaboration between a deep neural network and a human in the loop to swiftly collect accurate segmentation maps of remote sensing images. In a nutshell, the user iteratively interacts with the network to correct its initially flawed predictions. Concretely, these interactions are annotations representing the semantic labels. Our contributions are fourfold. First, we propose two interactive learning schemes to integrate user inputs into deep neural networks. The first one concatenates the user annotations with the other inputs of the network (e.g. RGB image). We apply it both to convolutional architectures and to Transformers. The second one uses the annotations as a sparse ground-truth to retrain the network. Then, we propose an active learning strategy to guide the user towards the most relevant areas to annotate. To this purpose, we adapt different state-of-the-art acquisition functions to evaluate the neural network uncertainty. Finally, we propose to modify the algorithm output space to swiftly adapt it to new classes under weak supervision. To alleviate the background shift and the catastrophic forgetting issues inherent to this problem, we compare different regularization terms and leverage a pseudo-label strategy. Through experiments on multiple remote sensing datasets, we show the effectiveness of the proposed methods and analyze them extensively. Combining these different components results in a robust and versatile framework to interactively correct semantic segmentation maps produced by deep learning algorithms in remote sensing.Nous proposons dans cette thèse de mettre en place une collaboration entre un réseau de neurones profond et un utilisateur pour collecter rapidement des cartes de segmentation sémantiques précises d'images de télédétection. En bref, l'utilisateur interagit de manière itérative avec le réseau pour corriger ses prédictions initialement erronées. Concrètement, ces interactions sont des annotations représentant les labels sémantiques. Nos contributions se décomposent en quatre parties. Premièrement, nous proposons deux schémas d'apprentissage interactif pour intégrer les entrées de l'utilisateur dans les réseaux de neurones profonds. Le premier concatène les annotations de l'utilisateur avec les autres entrées du réseau (comme l'image RGB). Nous l'appliquons à la fois aux architectures convolutionnelles et aux Transformers. La seconde utilise les annotations comme une vérité terrain partielle pour ré-entraîner le réseau. Ensuite, nous proposons une stratégie d'apprentissage actif pour guider l'utilisateur vers les zones les plus pertinentes à annoter. Dans ce but, nous adaptons différentes fonctions d'acquisition issues de l'état de l'art pour évaluer l'incertitude du réseau de neurones. Enfin, nous proposons de modifier l'espace de sortie de l'algorithme pour l'adapter rapidement à de nouvelles classes sous faible supervision. Pour atténuer les problèmes de décalage de la classe d'arrière plan et d'oubli catastrophique inhérents à ce problème, nous comparons différentes régularisations et tirons parti d'une stratégie dite de pseudo-labeling. À travers des expériences sur plusieurs jeux de données de télédétection, nous démontrons l'efficacité et analysons les méthodes proposées. La combinaison de ces différents travaux aboutit à un framework robuste et polyvalent pour corriger de manière interactive les cartes de segmentation sémantique produites par des algorithmes d'apprentissage profond en télédétection