Collaborative Localization and Mapping with Heterogeneous Depth Sensors

Simultaneous Localization and Mapping (SLAM) is the process in which a robot and other devices navigate in environments by simultaneously building a map of the surroundings and localizing itself within it. SLAM for single agents and specific sensors has matured during these last two decades. Nevertheless, the increasing demand for applications that require a high number of devices working together, with different types of sensors, have initiated and accelerated the interest for collaborative SLAM, and SLAM with heterogeneous sensors. This thesis proposes a collaborative SLAM framework that works with heterogeneous depth-based sensors, in particular, 3D LiDARs and stereo cameras. The framework is based on the SegMap framework, which makes use of a structural 3D segment representation of the map, and has a centralized structure that enables online multi-robot applications. Stereo-LiDAR support is enabled in the framework by a Stereo Estimation sub-module, which obtains a 3D point cloud from a stereo camera. Filtering of the stereo 3D point cloud and parameter optimization is performed in order to enhance the matching of segments from the stereo camera and 3D LiDAR. The system was evaluated on the KITTI dataset, in an offline fashion through its possible configurations. The results show that a vehicle containing a 3D LiDAR can be localized on a map created by a stereo camera, and vice-versa, enabling the generation of loop closures successfully when in an heterogeneous SLAM scenario. Furthermore, the influence of the system configuration and parameters of the framework on the heterogeneous localization performance is presented.Simultaneous Localization and Mapping (SLAM) är processen där en robot och andra enheter navigerar i miljöer genom att samtidigt bygga en karta över omgivningen och lokalisera sig i den. SLAM för enskilda agenter och specifika sensorer har mognat under de senaste två decennierna. Den ökande efterfrågan på applikationer som kräver ett stort antal enheter som arbetar tillsammans och olika typer av sensorer har påskyndat intresset för samverkande SLAM och SLAM med heterogena sensorer. Det här examensarbetet föreslår ett samverkande SLAM-ramverk som fungerar med heterogena djupbaserade sensorer, särskilt 3D-LiDAR och stereokameror. Ramverket är baserat på SegMap-ramverket, som använder en strukturell 3D-segmentrepresentation av kartan, och har en centraliserad struktur som möjliggör online-multi-robotapplikationer. Stereo-LiDAR-stöd är aktiverat inom ramen för en stereomodul, som erhåller ett 3D-punktmoln från en stereokamera. Filtrering av stereo-3D-punktmoln och optimering av parametrar utförs för att förbättra matchningen av segment från stereokameran och 3D-LiDAR. Systemet utvärderades på KITTI-dataset på ett offline sätt genom dess möjliga konfigurationer. Resultaten visar att ett fordon som innehåller en 3D-LiDAR kan lokaliseras på en karta som skapats av en stereokamera, och vice versa, vilket möjliggör framställning av slingstängningar framgångsrikt i ett heterogent SLAM-scenario. Dessutom presenteras påverkan av systemkonfigurationen och parametrarna för ramverket på den heterogena lokaliseringsprestandan