Deep learning applied to monocular depth estimation: an approach based on attention and complementation

Medir a profundidade de imagens é um problema inverso fundamental dentro do campo da Visão Computacional, uma vez que as informações de profundidade são obtidas por meio de imagens 2D, as quais podem ser geradas a partir de infinitas possibilidades de cenas reais observadas. Ademais, tal problema é não bem-posto, pois os valores estimados de profundidade são fortemente dependentes das imagens de espaços do mundo real adquiridas. Outras importantes tarefas da área de Robótica recorrem a medidas de profundidade, como a Localização e Mapeamento Simultâneos (SLAM) e Structure from Motion (SfM). Beneficiando-se do progresso de Redes Neurais Convolucionais Profundas (DCNNs) para explorar características estruturais e informações espaciais de imagens, a Estimação de Profundidade a partir de Uma Única Imagem (SIDE) é frequentemente destacada em meios de inovação científica e tecnológica, já que este conceito proporciona vantagens relacionadas ao seu baixo custo de implementação, menores restrições de uso e robustez a condições ambientais. No contexto de veículos autônomos, as DCNNs otimizam a tarefa de SIDE através da predição de mapas com dados precisos de profundidade, os quais são indispensáveis durante o processo de navegação autônoma em locais distintos. No entanto, essas redes geralmente são treinadas em mapas de profundidade esparsos e ruidosos, gerados por varreduras de Light Detection and Ranging laser (LiDAR) ou structured-light e time-of-flight devices (Kinect), e são executadas com alto custo computacional, exigindo Unidades de Processamento Gráfico (GPUs) de alto desempenho. Sendo assim, este trabalho propõe uma nova arquitetura de DCNN supervisionada e funções de custo baseadas em atenção para solucionar problemas de SIDE. Inova-se também ao incorporar múltiplas técnicas de Visão Computacional, como a utilização de algoritmos de densificação e informações adicionais de semântica, de profundidade e de normais de superfície ao treinamento de tal DCNN. O método introduzido neste trabalho tem foco em aplicações de veículos autônomos em ambientes internos e externos.Measuring the depth of images is a fundamental inverse problem within the field of Computer Vision since the depth information is obtained through 2D images, which can be generated from infinite possibilities of observed real scenes. Furthermore, this problem is ill-posed, since the estimated depth values are strongly dependent on the acquired images of real-world spaces. Other important tasks in the area of Robotics use depth measurements, such as Simultaneous Localization and Mapping (SLAM) and Structure from Motion (SfM). Benefiting from the progress of Deep Convolutional Neural Networks (DCNNs) to explore structural features and spatial image information, Single Image Depth Estimation (SIDE) is often highlighted in means of scientific and technological innovation, as such a concept provides advantages related to its low-cost implementation, fewer restrictions on use and robustness to environmental conditions. In the context of autonomous vehicles, DCNNs optimize the task of SIDE by predicting maps with accurate depth data, which are indispensable during the autonomous navigation process in different locations. However, these networks are usually trained on sparse and noisy depth maps, generated by scans of Light Detection and Ranging laser (LiDAR) or structured-light and time-of-flight devices (Kinect), and are executed with high computational cost, requiring powerful Graphic Processing Units (GPUs). Therefore, this work proposes a new supervised DCNN architecture and attention-based loss functions to solve SIDE problems. It is also innovative by incorporating multiple Computer Vision techniques, such as the use of densification algorithms and additional information on semantics, depth and surface normals to the training of such DCNN. The method introduced in this work focuses on autonomous vehicles applications in indoor and outdoor environments