Hybrid learning architecture for defect detection from aircraft fuselage images acquired by an autonomous UAV

L’inspection automatique de surfaces représente un enjeu majeur pour de nombreuses applications, en particulier dans le cadre de la maintenance aéronautique. Plus spécifiquement, l’automatisation de la détection de défauts sur le fuselage d’aéronefs revêt une importance particulière du fait du temps requis ainsi que du manque de traçabilité et de répétabilité des procédés actuels. Cette thèse propose un système réalisant cette automatisation de l’inspection visuelle du fuselage d’un aéronef, à partir d’images acquises par une plateforme robotique existante, le drone autonome développé par l’entreprise DONECLE. Trois contributions principales sont proposées: (1) la détection de défauts à partir des images acquises par le robot, traitées individuellement, par des approches d’apprentissage profond, en considérant qu’il existe des défauts rares, (2) l’utilisation de données issues de la navigation autonome pour améliorer la détection de ces défauts en utilisant de multiples prises de vue de chaque élément, et en prenant en compte des informations contextuelles, et enfin (3) l’étude des capacités de généralisation et d’évolution dans le temps du système proposé. Nous présentons en premier lieu la plateforme robotique utilisée et le contexte général de l’étude en décrivant les contraintes à satisfaire pour s’intégrer aux procédés existants pour la maintenance aéronautique. Nous introduisons de nouveaux outils permettant de récolter des données et d’analyser le comportement humain lors de l’annotation d’images contenant des défauts, en particulier par l’observation de la variabilité du comportement entre opérateurs (cohérence des résultats entre les experts). Ces analyses permettent de dresser un cahier des charges pour l’inspection visuelle du fuselage d’un aéronef. Un état de l’art général des méthodes pouvant s’appliquer à la détection de défaut met en évidence la place centrale des réseaux de neurones et de l’apprentissage profond pour ces applications. Pour résoudre le problème posé, nous traitons tout d’abord le cas d’images traitées individuellement. La taille très faible des défauts recherchés et surtout l’extrême rareté des défauts les plus critiques, rendent l’application de méthodes génériques de l’état de l’art inefficace : nous proposons un algorithme hybride composé d’une brique d’apprentissage profond associée à un réseau d’apprentissage à partir de peu d’exemples (Few-shot Learning) en portant une attention particulière aux données servant d’interface entre ces deux modules: cet algorithme surpasse les méthodes de l’état de l’art pour notre problème. Nous améliorons ensuite notre approche grâce à la prise en compte des données de navigation pour la recherche de défauts : les résultats issus de multiples prises de vues d’un même objet sont d’abord mis en correspondance, puis fusionnés au sein d’un réseau Bayésien. Cette méthode permet de générer un indice de confiance sur le résultat ; elle peut aussi être exploitée pour prendre en compte des méta données liées au contexte et les corrélations entre les positions des défauts détectés. Enfin nous étudions la capacité de généralisation de nos algorithmes. Des travaux sur la généralisation de domaine aboutissant à la proposition d’une méthode de Curriculum Learning sont présentés et permettent de rendre nos systèmes robustes aux différentes peintures rencontrées sur les avions. De manière plus globale, la généralisation des performances obtenues lors des tests est étudiée et utilisée comme fonction objectif pour la génération de campagnes d’annotation, ouvrant la voie à un système d’apprentissage actif à long terme sans humain dans la boucle.Automatic surface inspection is a major challenge for many applications, especially for aeronautics maintenance. More specifically, the automation of defect detection on the aircraft fuselage is of particular importance due to the time required and the lack of traceability and repeatability of current processes. The goal of this thesis is to use an existing robotic platform consisting of an autonomous UAV to propose a system to achieve this automation. Three main aspects are treated: the detection of rare defects from the images acquired by robot processed individually, the use of data from autonomous navigation to improve the detection of these defects by using multiple shots of each element, and finally the study of the generalization and evolution capabilities over time of the proposed system. We first present the general context of the study by describing the constraints to be met to integrate the existing processes for aeronautical maintenance as well as the robotic platform used. We introduce new tools to collect data and analyze human behavior when annotating images containing defects, in particular by observing the variability of interoperator behavior (consistency of results between experts). These analyses allow to draw up specifications for this task. A general state of the art of methods that can be applied to fault detection highlights the central role of neural networks and deep learning for these applications. To solve the problem, we first deal with the case of individually processed images. The very small size of the defects to be sought and especially their extreme rarity make inefficient the application of generic methods of the state of the art : we propose a hybrid algorithm composed of a deep learning block associated with a learning network from few examples (Few-shot Learning) paying particular attention to the data serving as an interface between these two modules: this algorithm allows a significant improvement in performance. We then improve the method by taking into account navigation data for defect search: the results from multiple shots of the same object are mapped within a Bayesian network. This method also allows to generate a confidence index on the result an can be used to take into account meta data related to the context. Finally, we study the generalizability of our algorithms. Work on domain generalization leading to the proposal of a Curriculum Learning method is presented and allows us to make our system robust to the different paints encountered on aircrafts. In a more global way, the generalization of the performances obtained during the tests is studied and used as an objective function for the generation of annotation campaigns, opening the way to a long-term active learning based system without human in the loop