Domain Adaptation for Maritime Instance Segmentation: From Synthetic Data to the Real-World

Denne avhandlingen tar sikte på å utforske praktiske implikasjoner ved bruk av en maritim simulator for rask generering av syntetiske instans-baserte sannhets-merkede bilder med det formål å trene modeller basert på konvolusjonelle nevrale nettverk (CNNs) for instans-segmentering og klassifisering av bilder i maritime scenarioer. Motivasjonen har vært å bidra til å overvinne utfordringene knyttet til å bygge store reelle datasett, grunnet den iboende vanskeligheten knyttet til anskaffe relevante bilder og det tidkrevende manuelle merkingsarbeidet, ved bruk av datagrafikk. I tillegg tar avhandlingen til sikte på å undersøke om metoder innenfor fag-området Explainable AI (XAI) kan brukes til å generere forklaringer for instans-segmenteringsmodeller. Først presenteres et fagområde XAI. Deretter fremlegges et forslag for å dedikere en eksisterende XAI-metode, kalt Local Interpretable Model-agnostic Explanations (LIME), til instans-baserte segmenteringsmodeller for å generere forklaringer på prediksjoner. Senere blir LIME vist til å kunne gi forklaringer på både objekt-deteksjon og silhuett-prediksjon fra en instans-basert modell. Deretter utvikles en metode for å skaffe syntetiske bilder fra en maritim simulator med instans-basert sannhets-merking av objekter, basert på en løsning med tilgang kun til brukergrensesnittet og modellbiblioteket. To opptak av samme simulering med manipulering av tekstur mellom disse to opptakene, fremhever objektene og fungerer i etterkant som grunnlag for anskaffelse og merking av bilder. Deretter tas par med synkroniserte skjermbilder, med synkronisering basert på intern logg-klokke i simulatoren gjort visuelt tilgjengelig i brukergrensesnittet og avlest automatisk ved hjelp av en Random Forest digital tall klassifikator. Instans-baserte sannhets-merker blir deretter generert basert på bilder med manipulert tekstur ved hjelp av filtrering av bakgrunns-farger, morfologiske transformasjoner, beregninger av tilkoblede komponenter, sannsynlighets-hierarkisk clustering basert på Variasjonel Bayesisk læring av Gaussiske komponent-modeller (VGBMM) og agglomerativ hierarkisk clustering, og etterfølgende manuell vurdering og justering. Denne metoden tillater for videre studier av implikasjonene ved bruk av syntetiske data. Deretter utføres et eksperiment basert på et syntetisk datasett, et reelt datasett av liten størrelse, et konvolusjonelle nevrale nettverk kalt Mask R-CNN, domenetilpasningsteknikker basert på både tre-trinns gradvis finjustering og full finjustering, og data-augmentering. Seks forskjellige modeller trenes; To rene syntetiske modeller, to reelle domenetilpassede modeller basert på den beste syntetiske modellen på det syntetiske testsettet, og to rene reelle kontrollmodeller. Resultatene tyder på at bruken av syntetiske bilder har en merkbar påvirkning på prestasjonen til alle domenetilpassede modeller, og at de inneholdt en større del av kunnskaper på tvers av domenene sammenlignet med de korresponderende kontrollmodellene. Videre tyder resultatene fra de rene domenemodellene at gradvis finjustering oppnår en bedre prestasjon enn full finjustering, og var bedre i stand til å lære kunnskaper på tvers av domenene. For de tilpassede modellene oppnådde gradvis finjustering og full finjustering omtrent like stor prestasjon. Videre indikerer resultatene at læring av kunnskaper på tvers av domenene fortsetter etter stagnasjon i valideringstap under opplæring av syntetiske modeller, noe som tyder på at valideringsdata fra både det syntetiske og det reelle domenet bør brukes ved trening av syntetiske modeller