Arquitectura multi-view 3D para detección de objetos en sistemas de conducción autónoma

En el amplio mundo de la conducción autónoma, el sistema de visión tiene un factor fundamental ya que, sin él, no habría estímulos a los que reaccionar. Por ello, la detección y segmentación de imágenes junto con el tracking del objeto son vitales para cualquier proyecto de conducción autónoma. Estas imágenes deberán adquirir un aspecto tridimensional, lo cual se conseguirá a través de un LIDAR[5]. Otra parte fundamental es la publicación de los resultados y la correlación con el resto de los elementos del coche. Para ello, es necesario asegurar una velocidad de procesamiento mínima y la portabilidad de la herramienta. En este proyecto se pretenden abordar todos estos problemas utilizando la red neuronal YOLACT[1] para el procesamiento, el LIDAR para la representación tridimensional (nube de puntos) incolora de la imagen, los programas del equipo de Robesafe para rellenar esa nube con los colores de la imagen procesada, la herramienta Docker[4] para la portabilidad y la aplicación ROS[2] para la publicación de los mensajes de entrada (imágenes) y salida (imágenes procesadas) en tiempo real.In the self-driving world, the vision system it’s a key factor because without it, the vehicle couldn’t detect styllals. That’s why the objects detection and tracking and images segmentation are very vital for any self-driving projects. The images should get a three-dimensional aspect. It will be achieved with a LIDAR. Another fundamental part is the publication of results and the correlation with the rest of car’s elements. For this, it’s necessary to ensure a minimum speed in data processing and make programs portable. This project tries to solve the above problems using a FCN YOLACT for the data processing, LIDAR for the colorless pointcloud and PCL coloring to color the point-cloud. Finally, the portability will be managed by Docker and ROS will solve the real time publication problem.Grado en Ingeniería en Electrónica y Automática Industria