Analysis and merging of 2D and 3D images for detecting and classifying vertical traffic signs to the benefit of the road safety with intelligent robotic vehicles

Os Veículos Robóticos Inteligentes são aplicados principalmente em beneficio da redução de acidentes de trânsito, possibilitando então reduzir falhas e imprudências humanas com sistemas que utilizam Visão Computacional, Inteligência Artificial, Automação e outras tecnologias, para auxiliar o condutor em sua tarefa de dirigir. Aplicando a robotização, também é possível o aumento do nível da segurança viária por meio do desenvolvimento de veículos autônomos totalmente livres do controle humano e que são programados para navegarem dentro das leis de trânsito. Sendo que as falhas humanas são a causa de mais de 90% para acidentes fatais em todo o mundo. Esta pesquisa de doutorado teve como objetivo principal o estudo, proposta, desenvolvimento, adaptações e testes de um conjunto de técnicas e métodos de Visão Computacional e Inteligência Artificial, com vistas para um sistema de percepcão com fusão de imagens 2D e 3D mais robusto para detecção de sinais de trânsito verticais. Também foi desenvolvido um modelo de Atenção Visual Fuzzy, capaz de analisar a prioridade de cada informação detectada por meio do sistema de percepção, possibilitando então dar suporte para a tomada de decisão do veículo envolvendo situações de emergência (acidentes e obras na via), utilizando como base, os valores de prioridade de cada regra de trânsito. O sistema de Visão Computacional Robótica deve ser capaz de detectar, classificar e analisar a prioridade dos sinais de trânsito verticais utilizados atualmente e, que são funcionais para o trânsito envolvendo motoristas humanos no mundo real, não exigindo adaptações da sinalização. O sistema de visão deve então auxiliar um veículo totalmente autônomo, ou semi-autônomo, a navegar dentro das regras de trânsito locais, assim, detectando informações de grande importância, como: velocidade máxima, parada obrigatória, cones de emergência e cores do semáforo. Em casos de navegação autônoma, apenas o sistema de percepção e análise de sinais de trânsito verticais deve ser utilizado. Já para a navegação semi-controlada, ou seja, com auxílio de um humano, o sistema de visão externo deve trabalhar em conjunto com a análise do condutor e dos dados de controle do veículo, ativando rotinas automáticas corretivas com base nos erros detectados na tarefa de dirigir, possibilitando evitar graves acidentes relacionados com o desrespeito as sinalizações de trânsito e que são gerados por falha humana e imprudência.Intelligent Robotic Vehicles are mainly applied for the benefit of the traffic accidents reduction, thus enabling to reduce human faults and recklessness with systems that use Computer Vision, Artificial Intelligence, Automation and other technologies to assist the driver in his driving task. By applying robotization, it is also possible to increase the level of road safety by developing autonomous vehicles totally free of human control and which are programmed to navigate within traffic laws. Human failures in driving take responsability over 90% for fatal accidents worldwide. The main objective of this doctoral research was the study, proposal, development, adaptations and tests of a set of techniques and methods of Computer Vision and Artificial Intelligence, aiming at a 2D and 3D image fusion perception system, being more robust for detecting vertical road signs. A Fuzzy Visual Attention model was also developed, capable of analyzing the priority of each information detected through the perception system, thus enabling the decision making of the vehicle involving emergency situations (accidents and road works) to be supported. The Fuzzy Visual Attention model uses the priority values of each traffic sign as a basis. The Robotic Computer Vision system shall be capable of detecting, classifying and analyzing the priority of currently used vertical traffic signs that are functional for traffic involving human drivers in the real world and do not require signaling adaptations. The vision system should then assist a fully autonomous or semi-autonomous vehicle to navigate within local traffic rules, thus detecting important information such as maximum speed, mandatory stop, emergency cones and traffic light colors. In cases of autonomous navigation, only the system of perception and analysis of vertical traffic signs should be used. For semi-controlled navigation, that is, with the help of a human, the external vision system should work in conjunction with driver analysis and vehicle control data, activating automatic corrective routines based on errors detected in the task execution. Thus making it possible to avoid serious accidents related to disregarding traffic signs, due mainly to human errors and recklessness