Algoritmos de segmentación semántica para anotación de imágenes

Desde el punto de vista de la cognición humana quizás una de las habilidades más significativas sea la capacidad de identificar y agrupar patrones visuales en elementos o conceptos abstractos significativos. Este proceso de agrupación perceptiva es la base de la capacidad para comprender y catalogar la información presente en las imágenes. Con el desarrollo de la informática, se plantea la posibilidad de extender los conceptos que rigen la percepción humana a sistemas computacionales, en lo que se conoce generalmente como anotación semántica de imágenes. Los métodos de anotación semántica de imágenes parten de características visuales de bajo nivel con las que se entrena un modelo con el que anotar nuevas imágenes. La capacidad de inferencia de este modelo de clasificación depende de la representatividad de las características visuales con las que se ha entrenado, en relación al problema que se trata. Características locales asociadas a objetos en la imagen son mucho más representativas que características globales extraídas de la imagen completa. Sin embargo, el proceso de segmentación de una imagen representa un problema en sí mismo. Sencillamente no es posible asegurar que los resultados de esta sean adecuados para su uso como base para extraer características. En este contexto, se propone como objetivo general de la Tesis el estudio, desarrollo y aplicación de diferentes algoritmos para abordar problemas relacionados con la anotación semántica de imágenes, trabajando a un nivel de particionado de la imagen inferior al de una segmentación, una sobresegmentación. Una sobre-segmentación se define como un particionado bajo un criterio de uniformidad perceptual, sin buscar un significado semántico específico. Conocidos comúnmente como superpíxeles, el resultado de una sobre-segmentación respeta las fronteras presentes en las imágenes, produce elementos perceptualmente significativos y es más sencilla de generar que una segmentación. En consecuencia, un superpíxel es un candidato adecuado como elemento base para la extracción de características. En particular, nos centraremos en la caracterización de imágenes a nivel de sobre-segmentación como base para la anotación semántica, planteando como casos de estudio problemas dentro de los dominios de imagen médica (bidimensional y volumétrica) e imagen óptica en teledetección (multiespectral e hiperespectral). ----------ABSTRACT---------- From the perspective of human cognition, perhaps one of the most significant abilities is the capacity of identifying and grouping visual patterns into signi_cant abstract elements or concepts. This process of perceptual grouping is the basis of the capacity to understand and catalog the information present in the images. With the development of informatics, the possibility of extending the concepts that govern human perception to computational systems is proposed, in what is generally known as semantic image annotation. The semantic image annotation methods train a model to annotate new images from low-level visual features. The inference capacity of this classification model depends on the representativeness of the visual features used for training. Local features associated with objects in the image are much more representative than global features extracted from the whole image. However, the process of segmentation of an image represents a problem itself. It is just not possible to guarantee that the results of a segmentation are suitable for use as a basis for extracting features. In this context, the main objective of the Thesis is the study, development, and application of different algorithms to address problems related to semantic image annotation, working at a lower image partitioning level than a segmentation, an over-segmentation. An over-segmentation is defined as a partitioning under a criterion of perceptual uniformity, without looking for a specific semantic meaning. Commonly known as superpixels, the result of an over-segmentation respects the boundaries present in the images, generates perceptually significant elements and is easier to produce than a segmentation. Consequently, a superpixel is a convenient candidate as the base element for the extraction of features. In particular, we will focus on the characterization of images at the level of over-segmentation as the basis for semantic annotation, presenting as case studies problems within the domains of medical image (two-dimensional and volumetric) and remote sensing optical image (multispectral and hyperspectral)