Detección y seguimiento de conectores mediante CNN, para el guiado de operarios en el proceso de ensamblado de satélites de la Agencia Espacial Europea

A lo largo del presente proyecto, se ha iniciado una línea de investigación enfocada al estudio y la puesta a punto de algoritmos de Inteligencia Artificial para la localización e identificación de conectores industriales. La finalidad de esta línea reside en integrar esta tecnología en los procedimientos de asistencia a operarios a la hora de ejecutar la conexión de cableado en estados finales del ensamblaje de los satélites de la Agencia Espacial Europea. Se espera que el uso de esta tecnología acelere la ejecución de las tareas, al disminuir las tasas de error y sus consiguientes retrabajos asociados. Este enfoque permitirá resaltar la importancia del desarrollo de las diferentes metodologías referentes a la localización en cuanto al soporte ofrecido al operario; apoyándose en el uso de las innovadoras técnicas de Deep Learning y las Redes Neuronales Convolucionales (CNN). Para lograr este objetivo, durante el presente proyecto ha sido necesario la instalación y configuración de un dispositivo de captura de imagen industrial, además de cumplimentar numerosos requisitos de preparación de una estación capaz de procesar en tiempo real mediante el uso de GPU los diferentes procesos llevados a cabo. Dicha estación ha sido utilizada para entrenar el modelo de forma que pueda ser útil en estados posteriores para la asistencia en la conexión del mencionado cableado. Con este propósito, mediante el entrenamiento de ciertos algoritmos de redes neuronales convolucionales, se ha logrado elaborar un detector con un elevado porcentaje de fiabilidad que satisface dicho objetivo. El proceso cuenta con numerosas labores, entre las que podemos destacar (i) la creación del conjunto de datos enfocado para labores de entrenamiento, (ii) el proceso de etiquetado de cada una de las imagen pertenecientes al mismo, (iii) la configuración de las diferentes capas de red para dotar al modelo pre-entrenado de capacidad para aprender a identificar nuevos objetos, (iv) la transferencia de conocimientos sobre una red pre-entrenada, capaz de detectar determinadas piezas aeronáuticas, (v) el entrenamiento en sí del modelo, (vi) la creación de un set de validación, y (vii) la evaluación sobre éste de los resultados del entrenamiento, además de la consideración de errores comunes durante dicho entrenamiento, y la selección de los pesos con una predicción más fiable. Durante el proyecto, además,se ha desarrollado una aplicación en C++ que consiste en un visualizador en tiempo real, capaz de coordinar la clase identificada y la fiabilidad de acierto sobre la clase. La integración de esta tecnología supone una mejora en la experiencia de producción para el operario y para el éxito del programa en el que se encuentre encuadrado el satélite en cuestión. Esta línea de investigación cuenta con reconocido potencial, ya que, está previsto sea combinada con otros múltiples desarrollos de realidad aumentada.Within the present project, it has been developed a line of research focused on the study and implementation of Artificial Intelligence algorithms for the location and identification of industrial connectors. The purpose pursued resides in integrating this technology in procedures directed to operator’s assistance, when executing the wiring connection in the final stages of the assembly of the satellites of the European Space Agency. Thus, it is expected, due to the development of this technology, that it will result in accelerating the production in the supply chain, by reducing error rates regarding the human factor. This approach evidencesthe importance of the development of different methodologies for inspection, tracking and location, making use of the innovative techniques of Deep Learning and the Convolutional Neural Networks (CNN). To achieve this objective, it has been necessary to install and configure an industrial image capture device, in addition to cover numerous requirements for preparing a station capable of processing in real time through the use of GPUs for the different processes carried out. The station has been used to train the model so that it shall be useful in later states for assistance in the mentioned wiring connection. For this purpose, ought to the convolutional neural network training, it has been possible to develop a detector with a high percentage of reliability that satisfies this objective. The process has consisted of numerous tasks, where it can be highlighted: (i) the creation of the data set focused on training tasks, (ii) the process of labeling each of the images belonging to it, (iii) the configuration of the different network layers to provide the model pre-trained ability to learn to identify new objects, (iv) the transfer of knowledge on a pre-trained network, capable of detecting certain aeronautical parts, (v) the training itself of the model, (vi) the creation of a validation set, and (vii) the evaluation on it of the training results, in addition to the consideration of common errors during said training, and the selection of the weights with a more reliable prediction. Furthermore, a C ++ application has been developed. It consists of a real-time viewer capable of coordinating the identified class and the reliability of the class detection. The integration of this technology means an improvement in the production experience for the operator and for the success of the environment in which the satellite will be manufactured. This line of research has a recognized potential, since it can be combined with multiple other augmented reality developments.Universidad de Sevilla. Grado en Ingeniería Electrónica, Robótica y Mecatrónic