Vision-based Aircraft Detection Technologies for Unmanned Aerial Vehicles

La detección de aeronaves es un problema complejo con multitud de aplicaciones en el ámbito de los vehículos aéreos no tripulados (UAVs), entre las que destacan los sistemas de detección y evasión (DAA), los sistemas de evasión de colisiones para enjambres de UAVs y los sistemas anti UAVs. La presente tesis doctoral pretende ofrecer una visión global del problema de detección visual de aeronaves y las tecnologías asociadas, presentando las contribuciones de su autor en este ámbito. Con respecto al uso de la visión en sistemas DAA, cuyo propósito es permitir a los UAVs compartir de manera segura porciones del espacio aéreo con aeronaves tripuladas, este trabajo aborda las dificultades que implica desarrollar sistemas fiables basados en visión. Estos problemas surgen tanto de la complejidad de tratar con la gran diversidad de posibles escenarios de navegación en exteriores, con muy diferentes condiciones de iluminación, como de la gran variedad de posibles marcos en los que se puede producirse una colisión aérea. Con el objetivo de obtener datos relevantes que puedan ser utilizados para desarrollar y evaluar algoritmos de detección y seguimiento visuales, se ha propuesto un software capaz de generar imágenes sintéticas de escenarios de colisión aérea en el espectro visible, reduciendo el coste de obtener imágenes reales equivalentes y suprimiendo los riesgos de realizar vuelos que simulen escenarios de posible colisión. Estas imágenes se obtienen combinando imágenes aéreas reales con imágenes de aeronaves en vuelo generadas por ordenador. La calidad y el realismo de estas imágenes ha sido evaluado positivamente por pilotos profesionales mediante tests visuales. Además, se ha desarrollado un novedoso y eficiente algoritmo de detección empleando las mencionadas imágenes, el cual ha sido comparado con el estado del arte, concretamente con un eminente algoritmo de detección de objetos en tiempo real. La utilización de la termografía infrarroja para la detección de aeronaves también ha sido objeto de estudio. En particular, se ha desarrollado un sistema de detección de aeronaves para pequeños UAVs, el cual integra una cámara térmica y un sistema receptor de tecnología ADS-B. Se ha desarrollado un algoritmo eficiente para la detección de aeronaves en imágenes térmicas el cual ha sido evaluado con imágenes aéreas capturadas junto a un aeropuerto. Las aeronaves detectadas visualmente se han asociado a los datos obtenidos con el receptor ADS-B para estimar la distancia a las mismas. El sistema propuesto se ha demostrado capaz de detectar aeronaves bajo complicadas condiciones de iluminación e incluso por la noche con un coste computacional muy reducido. Finalmente, se ha propuesto un novedoso enfoque para la detección eficiente de aeronaves a media y corta distancia utilizando mapas de profundidad: una representación alternativa a las nubes de puntos, obtenida de sensores LIDAR o cámaras de profundidad. El principio de detección de basa en la explotación de las discontinuidades de profundidad características que forman los objetos en vuelo. Adicionalmente, las detecciones sobre mapas de profundidad permiten obtener de manera sencilla la posición 3D de la aeronave detectada, lo cual puede ser utilizado a posteriori para la planificación de trayectorias libres de colisión. Se ha validado en simulación un método de detección eficiente basado en aprendizaje profundo utilizando mapas de profundidad provenientes de nubes de puntos LIDAR y en vuelos reales utilizando una cámara estereoscópica. Para su validación, el sistema se ha integrado a bordo de un pequeño UAV volando a diferentes velocidades y realizando varias trayectorias, y las estimaciones de las posiciones 3D de las aeronaves detectadas se han validado utilizando un sistema de captura del movimiento. En resumen, esta tesis doctoral explora varias tecnologías basadas en visión aplicables al problema de detección de aeronaves y demuestra su enorme potencial, el cual destaca en aplicaciones reales por el bajo peso, tamaño y consumo energético de este tipo de sensores. Este trabajo se centra en el despliegue de estas tecnologías en pequeñas plataformas UAV, proporcionando soluciones eficientes, que están apoyadas en experimentos de vuelo real y publicaciones en revistas internacionales de impacto, y que extienden el estado del arte en este campo. ----------ABSTRACT---------- Vision-based aircraft detection is a complex problem with multiple applications in the field of unmanned aerial vehicles (UAVs) including detectand- avoid (DAA) systems, collision avoidance systems for UAV swarms and anti-UAV systems. The present Thesis aims at proving a global view of the problem of vision-based aircraft detection and the technologies associated and presents the author’s contributions to the field. With respect to the use of vision in DAA systems, aimed at allowing UAVs to safely share portions of the airspace with manned aircraft, this work addresses the difficulties for developing reliable vision-based systems. These problems arise both from the complexity of dealing with a great diversity of possible outdoor navigation scenarios, with very different illumination conditions, as well as with the great variety of mid-air collision settings. In order to obtain relevant data that can be used to develop and evaluate visual detection and tracking algorithms, a software framework has been proposed capable of generating synthetic visible-spectrum images of mid-air collision scenarios, thus reducing the cost of obtaining equivalent real images and eliminating the risks of performing actual flight encounters. These images are obtained by blending real aerial images with computergenerated imagery of flying aircraft. The quality and realism of these images has been positively evaluated by professional pilots in visual tests. Furthermore, a novel and efficient detection algorithm has been developed using the aforementioned images, and has been compared to a state-of-art, real-time object detection algorithm. The use of thermal infrared (TIR) imaging for aircraft detection has also been object of study. In particular, an aircraft detection system for small UAVs has been developed, which integrates a TIR camera and an Automatic Dependent Surveillance-Broadcast (ADS-B) receiver. An efficient algorithm for the detection of aircraft in TIR images is developed and evaluated with aerial images captured near an airport. Detected aircraft have been matched with data from the ADS-B receiver in order to obtain range estimations to the visually detected aircraft. The proposed system is proved to detect aircraft at real-time frame rates under challenging illumination conditions and even at night. Finally, a novel approach for efficient, close-range aircraft detection using depth maps has been proposed. Depth maps are an alternative representation of pointclouds, obtained from LIDAR sensors or depth cameras. The detection principle relies on the exploitation of the characteristic discontinuities in depth caused by flying objects. Additionally, detections on depth maps seamlessly provide the 3D relative position of the detected aircraft, which can be later exploited for collision-free path planning. An efficient detection approach, based on deep learning, has been validated in simulation using depth maps from LIDAR pointclouds, and also in real flights using a stereoscopic camera. For its validation, the system has been integrated on board a small UAV flying at various speeds and performing various trajectories, and the estimations of the 3D positions of the detected aircraft have been validated using a motion capture system. In summary, this Thesis explores various vision-based technologies applicable to the problem of aircraft detection and demonstrates their enormous potential, which is enhanced in real applications by the low weight, size and power consumption of these sensors. This work focuses on the deployment of these technologies on small UAV platforms, providing efficient solutions, which are backed by real flight experiments and publications in top international journals, and which extend the state of art in the field