Semantic segmentation of LiDAR and RGB imagesfor autonomous terrain driving

Selvkjørende systemer basert på prosessert informasjon fra kamera og LiDAR sensorer er et stort forskning felt innen kunstig intelligens. Omgivelsen for selvkjørende kjøretøy kan variere og er avgjørende for valg av metode for automatisering av kjøringen til et kjøretøy. Den nordiske terreng omgivelsen har noen interessante utfordringer sammenlignet med selvkjørende bilder i byer. Den naturlige terreng omgivelsen har klasser med flytende overgang til andre klasser og det er en store variasjoner av naturlig klasser. Navigasjon i et terreng miljø krever en analyse av omgivelsene for å kunne få informasjon om terrenget og eventuelle hindringer rundt kjøretøyet. Denne oppgave utforsker derfor klassifisering av terreng landskap ved bruk av dyp læring for å utfører semantisk segmentering av sensor data. Oppgave bygger på modellen mask2former som bruker den moderne transformerer arkitekturen til å segmentere bilde. Eksperimentene i denne oppgaven avdekket at den moderne tilnærmingen til semantisk segmentering fungerte bra også i et nytt terreng landskap. Etter å trent modellen på et relativt lite egen-laget RGB terreng dataset, presterte modellen bra, ettersom den hadde en IoU på 87.44 på testsettet til RGB datasettet. Segmenterings metoden for RGB bilder var også tilpasset til å fungere med LiDAR data for å kunne benytte seg av 360 graders synsvinkel, samt dybde informasjon fra LiDAR sensoren. Ulike pre prosessering metoder ble brukt til å få en forståelse av hvilke endringer på modellen og hvilke pre prosedering metoder som forbedrer resultatene til LiDAR modellen. Oppgaven utforsker bruken av den modifiserte RGB segmenteringen metoden på 2d LiDAR bilder. Den beste metoden for LiDAR segmentering fra denne oppgave var en modell som brukte 2d LiDAR bilder som var strekt i høyden til å være 4 gange høyere. Eksperimentene viste også at å bruke alle 4 kanalene fra LiDAR bildene var nyttig for å oppnå best mulig resultat for semantisk segmentering på LiDAR data. Rapporten utforsker også bruk av 16 bits bilder i dyp læring modellen, for å kunne bevare mest mulig av nøyaktigheten av avstandsmålingen til LiDAR sensoren. På testsettet oppnådde LiDAR segmenteringen en IoU på 76.1 som viser at den kan bidra med nytting informasjon til navigasjons moulineene av systemet. Fler sensor metoder som utnytter flere sensorer til å segmentere omgivelsen ble også teste. Resultatene fra ulike forsøk med fler sensor metoder viste at det ikke forbedre ytelsen av det nåværende systemet, men ulike metoder for å forbedre bruken av flere sensor samtidig er diskutert i oppgaven. Navigasjon basert på segmenterte sensor data vart implementert for å et komplette system fra sensordata inn til kjøretøys kommander ut. Navigasjons systemene som ble implementert i denne oppgave var relativt enkle, men klarte å kontrollerer kjøretøyet mot en mål posisjonen mens den valgte gunstig terreng og unngikk oppdagede hindringer. Hele systemtest ble teste med et fysisk kjøretøy i sanntid. Testing viste lovende resultater, det var også forbedringspotensiale på det enkle navigasjonssystemet. Kjøretøyet klarte likevel å kjøre mot et mål, mens det unngår hindringer basert på semantisk segmenterte sensordata i sanntid. Koden til prosjektet er tilgjengelig her: https://github.com/atoft97/masterTof