Semantic Segmentation of RGB-D Images of Indoor Environments

U ovom radu je analiziran jedan pristup rješavanju problema semantičke segmentacije dubinskih slika unutrašnjih prostora. Proučeni su algoritmi korišteni u predloženoj metodi, kao i njihove programske implementacije. Rješavanjem problema semantičke segmentacije slike znatno bi se poboljšala sposobnost robota za samostalan rad u nepoznatim okruženjima. Problem se svodi na svrstavanje dijelova slike u neke unaprijed određene kategorije. U ovom slučaju te kategorije su pod, strukture, namještaj i rekviziti. Predložena metoda kategorizira dijelove slike koristeći uvjetna slučajna polja. Slika se najprije segmentira na superpiksele, koji služe kao čvorovi grafa uvjetnog slučajnog polja. Potencijali uvjetnog slučajnog polja određeni su vizualnim i geometrijskim značajkama superpiksela. Struktura grafa je minimalno razapinjuće stablo, pri čemu je težina brida određena na temelju udaljenosti centroida dvaju superpiksela u trodimenzionalnom prostoru. U okviru ovog rada proučena je jedna metoda zaključivanja i dekodiranja uvjetnih slučajnih polja koja omogućuje pronalaženje optimalne segmentacije. Učinkovitost predložene metode ispitana je eksperimentima na ispitnom skupu dubinskih slika unutrašnjih prostora.This thesis considers an approach for semantic segmentation of RGB-D images of indoor environments. The algorithms used in this approach are described and their implementation in the provided source code is explained. Solving the problem of semantic RGB-D image segmentation would significantly improve the capacity of robots for autonomous problem solving in unknown environments. The considered problem is to classify parts of an image into a set of predefined categories. In this case, the categories are ground, structure, furniture and props. The discussed method does this using the conditional random fields. The image is first segmented into superpixels, which serve as nodes in a CRF graph, where the CRF potentials are defined by visual and geometric features of the superpixels that the image is divided into. The structure of the CRF graph is a minimum spanning tree, with the weight of the graph edges being defined by the distance between the superpixel centroids in three-dimensional space. One method for CRF inference and decoding, which provides an optimal segmentation, is examined. The efficacy of the considered approach is tested on a set of RGB-D images of indoor environments