Convolutional neural networks for joint object detection and pose estimation in traffic scenes

Mención Internacional en el título de doctorFew any longer question that autonomous vehicles will be a key element of transportation in the coming decades. Reliable perception of the surroundings of the vehicle is today one of the remaining technical challenges that must be addressed to ensure safe autonomous navigation, especially in crowded environments. This functionality usually relies on onboard sensors, which provide data that must be appropriately processed. Among the different tasks assigned to the perception suite of an automated vehicle, the detection of other road users that can potentially interfere with the trajectory of the vehicle is particularly critical. However, the identification of agents in sensor data is only the first step. Planning and control modules down the pipeline demand trustworthy information about how the objects are arranged in space. In particular, their orientation and location on the road plane are usually attributes of utmost importance to build a purposeful model of the environment. This thesis aims to provide close-to-market solutions to these issues taking advantage of the dramatic breakthrough seen in deep neural networks in the past decade. The methods proposed in this thesis are built on top of a popular detection framework, Faster R-CNN, which features high detection accuracy at near real-time rates. Some proposals to enhance the performance of the algorithm in images obtained from onboard cameras are introduced and discussed. One of the central contributions of the thesis is the extension of the Faster R-CNN framework to estimate the orientation of the detected objects based exclusively on appearance information, which makes the method robust against the different sources of error present in traffic environments. As a natural next step, two algorithms exploiting this functionality to perform 3D object localization are proposed. As a result, the combination of the methods described throughout this thesis leads to a procedure able to provide situational awareness of the potential hazards in the surroundings of the vehicle. All the proposed methods are analyzed and validated through systematic experimentation using a well-recognized public dataset (the KITTI Vision Benchmark Suite), where notable results were obtained. The viability of the implementation of the solutions in a real vehicle is also discussed.Pocos cuestionan ya que los vehículos autónomos serán un elemento clave del transporte en las próximas décadas. La percepción fiable del entorno del vehículo es, hoy en día, uno de los retos técnicos que hay que afrontar para garantizar una navegación autónoma segura, especialmente en entornos con muchos agentes. Esta funcionalidad se basa, normalmente, en sensores embarcados, que proporcionan datos que deben ser procesados de forma adecuada. Entre las diferentes tareas asignadas al sistema de percepción de un vehículo automatizado, la detección de otros usuarios de la vía que puedan interferir potencialmente con la trayectoria del vehículo es particularmente crítica. Sin embargo, la identificación de los agentes en los datos de los sensores es sólo el primer paso. Los módulos de planificación y control del vehículo exigen información fiable sobre la disposición de los objetos en el espacio. En particular, su orientación y ubicación en el plano de la carretera suelen ser atributos de suma importancia para construir un modelo del entorno significativo. Esta tesis tiene como objetivo proporcionar soluciones comercialmente viables para estos problemas, aprovechando el impresionante avance que han experimentado las redes neuronales profundas en la última década. Los métodos propuestos en esta tesis se basan en un marco de detección popular, Faster R-CNN, que ofrece una alta precisión de detección a velocidades cercanas al tiempo real. Así, se presentan y discuten algunas propuestas para mejorar el rendimiento del algoritmo en las imágenes obtenidas de las cámaras a bordo. Una de las aportaciones centrales de la tesis es la ampliación de la arquitectura Faster R-CNN para estimar la orientación de los objetos detectados basándose exclusivamente en la información de apariencia, lo que hace que el método sea robusto frente a las diferentes fuentes de error presentes en los entornos de tráfico. Como siguente paso natural, se proponen dos algoritmos que aprovechan esta funcionalidad para realizar la localización de objetos en 3D. Como resultado, la combinación de los métodos descritos a lo largo de esta tesis permite construir un procedimiento capaz de proporcionar conciencia situacional de los peligros potenciales en los alrededores del vehículo. Todos los métodos propuestos son analizados y validados mediante experimentación sistemática utilizando una reconocida base de datos pública (KITTI Vision Benchmark Suite), donde se han obtenido resultados notables. También se discute la viabilidad de la implementación de las soluciones en un vehículo real.Programa de Doctorado en Ingeniería Eléctrica, Electrónica y Automática por la Universidad Carlos III de MadridPresidente: Felipe Jiménez Alonso.- Secretario: Basam Musleh Lancis.- Vocal: Eduardo José Molinos Vicent