Image Segmentation Method Based on Scene Illumination

Metode za korekciju boja u slici važan su dio digitalnih kamera, ali i računalnog vida općenito. Zbog toga je važno proučiti razne pristupe ovom problemu. U ovom radu, metode za segmentaciju slika su kombinirane s metodama za procjenu osvjetljenja u cilju rješavanja problema procjene osvjetljenja scene osvijetljene s dva izvora svjetla. Predložena metoda temelji se na U-Net arhitekturi za segmentaciju slike u regije osvijetljene jednim od izvora. No, kako bi se takav model mogao trenirati, bilo je potrebno izgraditi novi skup slika, jer trenutno ne postoji veliki skup slika osvijetljenih s više od jednim izvorom. Predložena segmentacijska metoda trenirana je tako da se slike iz skupa za treniranje isprave za jednu od poznatih boja, što transformira početni problem u jednostavniji segmentacijski problem. Koristeći ovaj način treniranja, metoda postiže dobre rezultate prilikom testiranja na segmentacijskom problemu, te postiže rezultate bolje od jednostavnih globalnih metoda kada se primjeni na sam problem procjene osvjetljenja u stvarnim scenama s više od jednog osvjetljenja. Model je treniran koristeći umjetno osvijetljene slike iz predloženog skupa slika, koji sadrži preko 4000 umjetno osvijetljenih slika koristeći drukčije metode za izradu maski korištenih prilikom osvjetljavanja.Color correction methods are an important element of digital cameras and computer vision tasks in general. This is why it is important to study different approaches to this problem. In this work, image segmentation methods are combined with scene illumination estimation methods to try to solve the complex multi-illumination problem, with the assumption that there are only two illuminants present. The proposed method uses a U-Net architecture to predict regions of the image which are illuminated by one of the illuminants. However, to train such a method a new dataset of scenes illuminated by multiple illuminants had to be created, as there doesn't exist a large dataset of multi-illuminant scenes. The proposed segmentation method was trained by converting the multi-illumination estimation into a segmentation problem by correcting the input image using one of the known illuminants. Using this training setup, the method performed well on the segmentation problem, but it also achieves better results than global estimation methods when applied to a multi-illumination estimation problem in real-world images. The model was trained using artificially relighted images of the proposed dataset, which contains more than 4000 artificially relighted images using different methods to create masks used for image relighting