Automated Video Segmentation in Underwater Ship Inspections Exploiting Deep Learning, Computer Vision, and Image Enhancement

Inspeksjon av skipsskrog er en avgjørende del av å administrere og opprettholde standarden på aldrende skip. Undervannsinspeksjoner av skip, utført av dykkere eller fjernstyrte undervannsdroner (ROVs), kan være et godt alternativ til tørrdokkinspeksjoner. En tørrdokkinspeksjon er langt dyrere og mer tidkrevende enn å uføre en undervannsinspeksjon. På grunn av fremgangen til ubemannede undervannsfarkoster, har undervannsinspeksjoner fått mer oppmerksomhet de siste årene. Skipsinspeksjoner gjøres visuelt for å oppdage defekter og få oversikt over skipets tilstand. Dette kan gjøres ved å evaluere mengden begroing, malingsavskalling og korrosjon på skroget og andre deler av skipet. Undervannsinspeksjonene gjøres manuelt ved å visuelt evaluere video og bilder som blir samlet av en ROV. Automatisering av dette arbeidet kan redusere kompleksiteten, kostnadene og inspeksjonstiden, som er hovedmotivasjonen for arbeidet med denne oppgaven. Oppgaven fokuserer på bruk av dyplæring kombinert med bildeforbedring og datasyn for å utføre pikselvis semantisk segmentering av et skipsskrog under en undervannsinspeksjon. Treningen av dyplæringsmodellen gjøres på LIACI-datasettet, som inneholder 1893 bilder med ti tilsvarende klasser som representerer gjenstander som ofte støtes på under en undervannsinspeksjon. Denne oppgaven presenterer en metode for økt ytelse og kontinuitet under en automatisert skipsinspeksjon, bestående av en semantisk segmenteringsmodell basert på dyp overvåket læring, bildeforbedring, og prediksjonsgjennomsnitt basert på datasyn. En dyplæringsmodell foreslås basert på sammenligninger med moderne modeller og andre versjoner av den foreslåtte modellen. Den foreslåtte modellen oppnår en IoU-forbedring på 3,8% sammenlignet med standardmodellen i en femdobbel kryssvalideringstest. En metode er foreslått for bedre videosegmentering ved å utnytte informasjonen fra forrige prediksjon ved å bruke bildematching, 2D-transformasjon, og et adaptivt vektet gjennomsnitt mellom forrige og nåværende prediksjon. Denne metoden viste mer konsise og nøyaktige prediksjoner enn å evaluere hver ramme separat. Bildeforbedring brukes for å teste om det kan øke ytelsen til en segmenteringsmodell og øke antallet gode matcher mellom to bilder. Syv bildeforbedringsteknikker ble testet og sammenlignet, der to metoder økte ytelsen til både segmenteringsmodellen og modellen for 2D-transformasjoner. Et generativt konkurrerende nettverk (generative adversarial network) ble opplært til å utvide treningssettet med genererte bilder basert på segmenteringsmasker. Trening på det utvidede datasettet viste lovende resultater med få reelle bilder i treningssettet, men dårligere resultater ved utvidelse av datasettet basert på masker som allerede finnes i datasettet. Videoer av undervannsinspeksjoner av skip ble brukt til å teste evnen til videosegmentering under et realistisk undervannsinspeksjonsscenario. Den endelige foreslåtte metoden, som kombinerer maskinlæring, bildeforbedring og datasyn, viste betydelig bedre ytelse enn standard maskinlæringsmetode. Videosegmenteringen gjort av den endelige foreslåtte modellen var i stand til å yte på et tilfredsstillende nivå, og viste mulighetene og potensialet for automatiserte undervannsskipsinspeksjoner. Datasynsmetoden hadde en stor positiv innvirkning på den totale ytelsen under videosegmentering, og beviser at bruk av ekstra posisjonsinformasjon er viktig for presis segmentering under visuelle inspeksjoner