Multi-Sensor Object Detection for Autonomous Driving

Thesis submitted to the Department of Electrical and Computer Engineering of the Faculty of Science and Technology of the University of Coimbra in partial fulfillment of the requirements for the Degree of Doctor of PhilosophyNesta tese é proposto um novo sistema multissensorial de detecção de obstáculos e objetos usando um LIDAR-3D, uma câmara monocular a cores e um sistema de posicionamento baseado em sensores inerciais e GPS, com aplicação a sistemas de condução autónoma. Em primeiro lugar, propõe-se a criação de um sistema de deteção de obstáculos, que incorpora dados 4D (3D espacial + tempo) e é composto por dois módulos principais: (i) uma estimativa do perfil do chão através de uma aproximação planar por partes e (ii) um modelo baseado numa grelha de voxels para a deteção de obstáculos estáticos e dinâmicos recorrendo à informação do próprio movimento do veículo. As funcionalidade do systemo foram posteriormente aumentado para permitir a Deteção e Seguimento de Objetos Móveis (DATMO) permitindo a percepção ao nível do objeto em cenas dinâmicas. De seguida procede-se à fusão dos dados obtidos pelo LIDAR-3D com os dados obtidos por uma câmara para melhorar o desempenho da função de seguimento do sistema DATMO. Em segundo lugar, é proposto um sistema de deteção de objetos baseado nos paradigmas de geração e verificação de hipóteses, usando dados obtidos pelo LIDAR-3D, recorrendo à utilização de redes neurais convolucionais (ConvNets). A geração de hipóteses é realizada aplicando um agrupamento de dados ao nível da nuvem de pontos. Na fase de verificação de hipóteses, é gerado um mapa de profundidade a partir dos dados do LIDAR-3D, sendo que esse mapa é inserido numa ConvNet para a deteção de objetos. Finalmente, é proposta uma detecção multimodal de objetos usando uma rede neuronal híbrida, composta por Deep ConvNets e uma rede neural do tipo Multi-Layer Perceptron (MLP). As modalidades sensoriais consideradas são: mapas de profundidade, mapas de reflectância geradas a partir do LIDAR-3D e imagens a cores. São definidos três detetores de objetos que individualmente, em cada modalidade, recorrendo a uma ConvNet detetam as bounding boxes do objeto. As deteções em cada uma das modalidades são depois consideradas em conjunto e fundidas por uma estratégia de fusão baseada em MLP. O propósito desta fusão é reduzir a taxa de erro na deteção de cada modalidade, o que leva a uma deteção mais precisa. Foram realizadas avaliações quantitativas e qualitativas dos métodos propostos, utilizando conjuntos de dados obtidos a partir dos datasets "Avaliação de Detecção de Objetos" e "Avaliação de Rastreamento de Objetos" do KITTI Vision Benchmark Suite. Os resultados obtidos demonstram a aplicabilidade e a eficiência da abordagem proposta para a deteção de obstáculos e objetos em cenários urbanos.In this thesis, we propose on-board multisensor obstacle and object detection systems using a 3D-LIDAR, a monocular color camera and a GPS-aided Inertial Navigation System (INS) positioning data, with application in self-driving road vehicles. Firstly, an obstacle detection system is proposed that incorporates 4D data (3D spatial data and time), and composed by two main modules: (i) a ground surface estimation using piecewise planes, and (ii) a voxel grid model for static and moving obstacles detection using ego-motion information. An extension of the proposed obstacle detection system to a Detection And Tracking Moving Object (DATMO) system is proposed to achieve an object-level perception of dynamic scenes, followed by the fusion of 3D-LIDAR with camera data to improve the tracking function of the DATMO system. The obstacle detection we propose is to effectively model dynamic driving environment. The proposed DATMO method is able to deal with the localization error of the position sensing system when computing the motion. The proposed fusion tracking module integrates multiple sensors to improve object tracking. Secondly, an object detection system based on the hypothesis generation and verification paradigms is proposed using 3D-LIDAR data and Convolutional Neural Networks (ConvNets). Hypothesis generation is performed by applying clustering on point cloud data. In the hypothesis verification phase, a depth map is generated using 3D-LIDAR data, and the depth map values are inputted to a ConvNet for object detection. Finally, a multimodal object detection is proposed using a hybrid neural network, composed by deep ConvNets and a Multi-Layer Perceptron (MLP) neural network. Three modalities, depth and reflectance maps (both generated from 3D-LIDAR data) and a color image, are used as inputs. Three deep ConvNet-based object detectors run individually on each modality to detect the object bounding boxes. Detections on each one of the modalities are jointly learned and fused by an MLP-based late-fusion strategy. The purpose of the multimodal detection fusion is to reduce the misdetection rate from each modality, which leads to a more accurate detection. Quantitative and qualitative evaluations were performed using ‘Object Detection Evaluation’ dataset and ‘Object Tracking Evaluation’ based derived datasets from the KITTI Vision Benchmark Suite. Reported results demonstrate the applicability and efficiency of the proposed obstacle and object detection approaches in urban scenarios