Puolivalvotut oppimismenetelmät materiaalien semanttiseen segmentointiin konvolutionaalisten neuroverkkojen avulla

The demand for accurate and efficient semantic segmentation solutions is higher than ever due to the increasing number of applications that wish to extract knowledge from images. The applications for semantic segmentation span from identifying anomalies in medical images to extracting environmental information for augmented reality. The accuracy of semantic segmentation systems has improved largely due to advances in deep neural network based approaches. However, a large and expensive labeled dataset is still required for training. This thesis investigates the possibility to improve the performance of neural network based approaches by leveraging additional unlabeled samples in a semi-supervised training setting. The experiments cover three different semi-supervised training methods: the Mean Teacher method, a novel superpixel method, and a combination of the two methods. The same neural network architecture is trained using the semi-supervised methods that use unlabeled samples and the results are compared against a supervised baseline. The results indicate that the Mean Teacher method is able to leverage the information from the unlabeled samples beating the supervised baseline in accuracy by 1.64% and in mean intersection over union (MIoU) by 3.72% on the test set. The method also presented an additional benefit of stabilizing the model performance during training shown as a more stable validation set performance between epochs compared to the supervised baseline. The superpixel method performs similar to the supervised baseline. The combination of the two methods performs similar to the supervised baseline in accuracy, but improves the MIoU by 3.32%. Qualitative comparison revealed that using the superpixel loss with unlabeled samples results in the loss of small material details and bleeding over material boundaries. Despite this significant downside, the models trained with the superpixel loss component present smoother segmentation borders and less noise in segmentations.Tarve tarkoille ja tehokkaille semanttisen segmentoinnin ratkaisuille on suurempi kuin koskaan johtuen kuvatietoja hyödyntävien sovellusten kasvasta määrästä. Semanttisen segmentoinnin sovellukset vaihtelevat lääketieteellisten kuvien poikkeamien tunnistamisesta lisätyn todellisuuden vaatimaan ympäristön tunnistamiseen. Semanttista segmentointia tekevien järjestelmien tarkkuus on viime aikoina kehittynyt neuroverkkoihin perustuvien lähestymistapojen vuoksi. Näiden järjestelmien kouluttaminen vaatii kuitenkin laajan ja kalliin luokitellun tietokannan. Tämä diplomityö tutkii mahdollisuuksia kouluttaa neuroverkkoja käyttäen luokittelemattomia lisänäytteitä puolivalvotussa koulutusasetelmassa. Diplomityön kokeet kattavat kolme erilaista puolivalvottua koulutusmenetelmää: Mean Teacher -menetelmän, uuden superpikselimenetelmän sekä yhdistelmän edellä mainituista menetelmistä. Sama neuroverkkoarkkitehtuuri koulutetaan käyttämällä luokittelemattomia lisänäytteitä hyödyntäviä puolivalvottuja menetelmiä, ja tuloksia verrataan valvotun menetelmän tuloksiin. Tulokset osoittavat, että Mean Teacher -menetelmä voi hyödyntää informaatiota luokittelemattomista näytteistä ja parantaa tarkkuutta 1.64% ja MIoU-arvoa 3.72% vertailuarvoon nähden. Menetelmä tarjoaa myös lisähyödyn tasapainottamalla mallin suorituskykyä koulutuksen aikana, mikä näyttäytyty vakaampina validaatiosetin metriikoina epookkien välillä valvottuun menetelmään verratuna. Superpikselimenetelmä suoriutui yhtäläisesti valvotun menetelmän kanssa. Yhdistelmämenetelmä suoriutui yhtäläisesti valvotun verrattuna vertailuarvon tarkkuuteen, mutta paransi MIoU-arvoa 3.32%. Laadullinen vertailu osoitti, että superpikselivirheen hyödyntäminen luokittelemattomien näytteiden kanssa johti pienten materiaaliyksityiskohtien menettämiseen ja materiaalialueiden ylivuotoon. Tästä merkittävästä haitasta huolimatta superpikselivirhekomponentilla koulutetut mallit tuottivat tasaisempiin segmentaatiorajoja ja pienempään kohinaan segmentaatiossa