From Beginner to Expert: Deep Reinforcement Learning Controller for 3D Path Following and Collision Avoidance by Autonomous Underwater Vehicles

Tradisjonelle kybernetiske metoder har mange verktøy og teknikker som kan anvendes for en rekke klasser dynamiske systemer. En forutsetning for å kunne anvende mange av de tradisjonelle metodene, er en pålitelig matematisk representasjon av systemet/miljøet man ønsker å manipulere. Med økt kompleksitet, til den grad at valg og vurderinger ikke lenger følger trivielle regler, kan det bli vanskelig å finne slike representasjoner - kanskje til og med umulig. Å konstruere lover for tilbakekoblede kontrollsystemer i slike tilfeller, kan derfor vise seg å være utfordrende. Forsterkende læring danner kontrollover basert på erfaring og belønning, og viser seg dermed som et potensielt godt verktøy der det er vanskelig å representere systemet eller ønsket oppførsel eksplisitt. I denne oppgaven benyttes kontrollere basert på forsterkende læring til å styre et simulert autonomt undervannskjøretøy med 6 frihetsgrader. Objektivet er at kjøretøyet skal følge en forhåndsdefinert sti i 3D, samtidig som den er utsatt for hydrodynamiske forstyrrelser og obstruksjoner som kan forårsake kollisjoner hvis stien følges ukritisk. Da kjøretøy med 6 frihetsgrader og et 3D miljø tilbyr mange måter å operere kjøretøyet på i en slik kontekst, er de autonome agentene trent med forskjellig belønningsstrategi for å observere utfallet i den lærte kontrollstrategien. Kontrollerene, eller agentene, følger et opplæringsregimet som kalles "pensumlæring" ("Curriculum learning"). Dette bygger på at agentene gradvis utsettes for vanskeligere oppgaver og følgelig økt kompleksitet, istedenfor at oppgaver introduseres helt tilfeldig. Det er dermed en naturlig progresjon fra nybegynner til ekspert når det kommer til å kunne operere kjøretøyet i det nevnte miljøet. Etter trening viste ekspert-pilotene imponerende resultater i både stifølging og kollisjonsunngåelse. Under ideelle forhold (ingen forstyrrelser) oppnådde den beste agenten en kollisjonsrate på 0%. I tillegg viste den gode prestasjoner for stifølging. I det store bildet kan ideen om å bruke selvlærende kontrollsystemer, som etterligner menneskers evne for vurderinger og veivalg, ses som et tidlig skritt mot fullstendig autonome kjøretøy. Arbeidet som presenteres i denne rapporten bygger på et eget forprosjekt, såvel som tidligere arbeid med tilsvarende objektiver i 2D for kjøretøy med 3 frihetsgrader