Vision-Based Autonomous Navigation of Multirotor Micro Aerial Vehicles

El objetivo de esta tesis es conseguir una navegación basada en visión fiable y explorar el potencial de los algoritmos del estado del arte moderno en visión por computador para la robótica aérea, y especialmente aplicados a drones de tipo multirotor. Dado que las cámaras digitales pueden proveer potencialmente de una cantidad enorme de información al robot, que son menos costosas que otras alternativas de sensado y que son muy ligeras; los métodos de estimación basados en visión son muy prometedores para el desarrollo de aplicaciones civiles con drones. La parte principal de esta tesis consiste en el diseño, la implementación y la evaluación de tres módulos nóveles de propósito general para multirotores que utilizan métodos basados en visión para tomar decisiones de navegación. El primer módulo propuesto es un controlador de navegación para multirotores que fue diseñado para conseguir un vuelo fiable en entornos sin disponibilidad de señal GPS por medio del uso de la visión por computador. Con este objetivo en mente, la estimación de velocidad basada en el flujo óptico del suelo fue seleccionada para explorar las implicaciones de la utilización de métodos basados en la visión como principal sistema de medida para la retroalimentación del controlador. Fijar y respetar una limitación en la velocidad de navegación fue identificada como una manera fiable de asegurar que la estimación de velocidad basada en flujo óptico no falle. El controlador propuesto tiene en cuenta las limitaciones de velocidad establecidas por el uso de un método de estimación de la posición basado en odometría visual. Esta capacidad del controlador de respetar una velocidad máxima preconfigurada ha sido utilizada con éxito para realizar investigación en la navegación descentralizada simultánea de múltiples drones. Una capacidad comúnmente buscada en drones, es la realización de un seguimiento visual y la estabilización del vuelo mientras se adquieren imágenes de un objeto de interés. El segundo módulo propuesto en esta tesis es una arquitectura para el seguimiento en vuelo de objetos. Esta arquitectura fue desarrollada con el propósito de explorar el potencial de los métodos modernos de seguimiento visual basados en aprendizaje de máquina, o “machine learning” en inglés. Este tipo de algoritmos tienen como objeto determinar la posición de un objeto en el flujo de imágenes. Los métodos de seguimiento visual tradicionales funcionan correctamente en las condiciones para las cuales fueron originalmente diseñados, pero a menudo fallan en situaciones reales. La solución propuesta ha demostrado que los métodos actuales de seguimiento visual basados en aprendizaje de máquina permiten conseguir un seguimiento en vuelo fiable de una gran variedad de objetos. El despliegue rápido de drones autónomos en entornos desconocidos es todavía un problema actual en investigación. Uno de los principales desafíos es el cálculo de trayectorias que permitan una navegación rápida en dichos entornos. Con este problema en mente, el tercer módulo propuesto permite la generación automática de trayectorias seguras en entornos abarrotados de obstáculos. Este módulo ha sido probado utilizando mapas adquiridos en tiempo real a bordo del dron mediante el uso de algoritmos de fotogrametría basados en la visión por computador. Aun usando navegación basada en GPS, mediante la realización de experimentos se ha mostrado que el despliegue rápido de drones es factible incluso utilizando solo el ordenador y los sensores a bordo del dron. Parte de los módulos desarrollados han sido liberados en código abierto, contribuyendo al entorno de desarrollo “Aerostack” de código abierto del CVAR, previamente CVG, (UPM). Los módulos propuestos en esta tesis han sido repetidamente probados con éxito en experimentos fuera del laboratorio y en eventos públicos, demostrando su fiabilidad y potencial, y promoviendo su evaluación en diferentes escenarios. ----------ABSTRACT---------- The aim of this thesis is to attain reliable vision-based navigation and explore the potential of state of the art Computer Vision algorithms in Aerial Robotics, and specifically for multirotor drones. Since digital cameras can potentially provide a vast amount of information to the robot, are less expensive than their alternatives and are very lightweight, vision-based estimation methods are very promising for the development of civilian applications for drones. The main part of this thesis consists on the design, implementation and evaluation of three novel general purpose modules for multirotors that utilize visionbased methods to make navigation decisions. The first proposed module is a novel multirotor navigation controller that was designed to achieve reliable flight in GPS-denied environments by using Computer Vision. With this objective in mind, ground optical flow speed estimation was selected to explore the implications of using vision-based methods as the main measurement feedback for the controller. Setting and enforcing a speed limitation during navigation was identified as a reliable way to ensure that the optical flow speed estimation method does not malfunction. The proposed controller takes into account the speed limitations established by the vision-based odometry estimation method. In addition, by leveraging this capability of the controller to ensure navigation respecting the preconfigured maximum speed, it has also been successfully utilized to research on decentralized multi-drone navigation. A common objective for drones is to be able to fly and stabilize looking at and close-by to an object of interest. The second module proposed in this thesis is a novel vision-based object tracking architecture for multirotor drones, which was designed to explore the reliability of machine learning based visual trackers to provide feedback to an object following controller. Visual trackers have the purpose to determine the position of an object in an image stream and are, therefore, good candidates to achieve this objective. However traditional visual tracking methods, though very effective in the specific conditions for which they were designed, have the drawback of not generalizing well to the myriad of different visual appearances that real objects exhibit. The proposed architecture has demonstrated that current machine learning based visual tracking algorithms can reliably provide feedback to a visual servoing controller. The fast deployment of autonomous drones in unknown environments is still an ongoing research problem. One of the main challenges to achieve it is the calculation of trajectories that allow fast navigation in such areas. With this problem in mind, the third proposed module is a trajectory planner that delivers smooth safe trajectories in relatively cluttered environments. The algorithm has been tested experimentally on maps obtained using an on-board real-time capable Computer Vision mapping method. Although other modules would be needed to decide the exact navigation objectives of the drone, using this planner we have shown that it is feasible to deploy drones in unknown outdoors environments, by leveraging the good qualities of maps obtained using state of the art photogrammetry methods. Part of these modules have been released as open-source, contributing to the CVAR’s, previously CVG, (UPM) Open-Source Aerial Robotics Framework “Aerostack”, which main purpose is enabling drone civilian applications. The proposed modules have been repeatedly evaluated with successful results in several out-of-the-lab demonstrations, therefore showing their potential and good qualities. The utilization of the proposed modules in public events has promoted their further testing in different settings and applications, e. g. indoors and outdoors flight, narrow corridors, passage through windows and landing in different conditions