Applying Machine Learning Using Custom Trained Convolutional Neural Networks on Subsea Object Detection and Classification

Med bakgrunn i aldrende utstyr på norsk kontinentalsokkel er behovet for inspeksjoner, vedlikehold og reparasjoner forventet å øke betydelig de kommende årene. Fjernstyrte undervannsfarkoster (ROV) spiller en vesentlig rolle i slike operasjoner i dag, men er svært dyre på grunn av det medfølgende skip og sitt mannskap. En løsning som ville redusere operasjonskostnadene betraktelig er autonome undervannsfarkoster (AUV). De ville gi muligheten til å monitorere store områder, tilby tilsyn døgnet rundt og muliggjøre umiddelbar tilgang på assistanse. Disse AUVene krever beslutningstaking i sanntid, der korrekt detektering og klassifisering av undervannsobjekter er avgjørende. Detektering basert på tradisjonelt maskinsyn er vanskelig og feilutsatt på grunn av behovet for å trekke ut karakteristikker manuelt. Et robust alternativ kan være maskinlæringsmetoder, et område som har sett kraftig forbedring i det siste. Dermed er fokuset i denne tesen, hvordan man kan detektere og klassifisere undervannsobjekter ved å bruke maskinlæring, samt å undersøke effekten det har å trene på komplementære overvannsbilder. Formålet er å implementere en objektdetektor basert på maskinlæring, trene den på forskjellige bildedatasett, og evaluere på et fast valideringsdatasett. Dette er eksemplifisert ved å trene på bilder av en hammer, med antagelsen om at detektering av andre objekter har lik metode, bare med forskjellig treningsdata. Det nevrale nettverket (CNN) You Only Look Once versjon 2 (YOLOv2) ble implementert i Python og trent på tre forskjellige datasett: overvann, undervann og hybrid (en kombinasjon av de andre to). Disse datasettene ble innsamlet fra Marin Kybernetikk-laben på Tyholt NTNU, gjennom en BlueROV2 og dets kamera. Evaluering ble gjort på et datasett som inneholdt både over- og undervannsbilder, og som totalt bestod av 9.2% av de innsamlede bildene. Dette resulterte i gjennomsnittlig presisjon (AP) for hver detektor på henholdsvis 36%, 77%, og 92%. Resultatene er som forventet og indikerer at deteksjon av objekter ved bruk av maskinlæring er mulig. Høyere presisjon ble oppnådd med hybriddetektoren, som var trent på overvannsbilder som generelt er billigere å produsere