Clustering of pixels by image foresting transform and its application in background segmentation of natural images

Esta dissertação apresenta uma metodologia automática para separar objetos de interesse em imagens naturais. Objetos de interesse são definidos como os maiores objetos que se destacam com relação aos pixels em torno deles dentro de uma imagem. Estes objetos não precisam necessariamente estar centrados, mas devem possuir o mínimo possível de pixels na região assumida como fundo da imagem (e.g., borda de imagem com uma dada espessura). A metodologia é baseada em segmentação de fundo e pode ser dividida em duas etapas. Primeiramente, um modelo nebuloso é criado para o fundo da imagem utilizando um método de agrupamento baseado em função densidade de probabilidade das cores de fundo. A partir do modelo é criado um mapa de pertinência, onde os pixels de objeto são mais claros do que os pixels de fundo. Foram investigadas técnicas de agrupamento baseadas em deslocamento médio, transformada imagem floresta, mistura de Gaussianas e maximização da esperança. Três métodos para criação do mapa de pertinência foram propostos e comparados; um inteiramente baseado na transformada imagem floresta, o outro em mistura de Gaussianas e o terceiro em maximização da esperança. Nos dois últimos casos, o agrupamento baseado na transformada imagem floresta foi utilizado como estimativa inicial dos grupos. Em seguida, o mapa de pertinência é utilizado para possibilitar a seleção de pixels sementes de objeto e fundo. Estes pixels geram um agrupamento binário da imagem colorida que separa o fundo do(s) objeto(s). Os experimentos foram realizados com uma base heterogênea composta por 50 imagens naturais. Os melhores resultados foram os obtidos pela metodologia inteiramente baseada na Transformada Imagem Floresta. Para justificar o uso de um agrupamento binário das cores para segmentação, os resultados foram comparados com uma limiarização ótima, aplicada ao mapa de pertinência. Esses testes foram realizados com o algoritmo de Otsu, mas o agrupamento binário apresentou melhores resultados. Também foi proposto um método híbrido de binarização do mapa de pertinência, envolvendo a limiarização de Otsu e a transformada imagem floresta. Neste caso, a limiarização de Otsu reduz o número de parâmetros em relação à primeira.This work presents a new methodology for automatic extraction of desired objects in natural images. Objects of interest are defined as the largest components that differ from their surrounding pixels in a given image. These objects do not need to be centered, but they should contain a minimum number of pixels in the region assumed as background (e.g., an image border of certain thickness). This methodology is based on background segmentation and it can be summarized in two steps. First, a fuzzy model is created by a clustering method based on probability density function of the background colors. This model is a membership map, wherein object pixels are brighter than background pixels. For clustering, the following techniques were investigated: mean-shift, image foresting transform, Gaussian mixture model and expectation maximization. We then propose and compare three approaches to create a membership map; a first method entirely based on the image foresting transform, a second approach based on Gaussian mixture model and a third tecnique using expectation maximization. The clustering based on image foresting transform was adopted as the initial estimate for the clusters in the case of the two last methods. In a second step, the membership map is used to enable the selection of object and background seed pixels. These pixels create a binary clustering of the color pixels that separates background and object(s). The experiments involved a heterogeneous dataset with 50 natural images. The approach entirely based on the image foresting transform provided the best result. In order to justify the use of a binary clustering of color pixels instead of optimum thresholding on the membership map, we demonstrated that the binary clustering can provide a better result than Otsu's approach. It was also proposed a hybrid approach to binarize the membership map, which combines Otsu's thresholding and image foresting transform. In this case, Otsu's thresholding reduces the number of parameters in regard to the first approach