Ontology for imagistic domains: combining textual and pictorial primitives

O avanço tecnológico de dispositivos capazes de capturar e armazenar volumes significativos de imagens permite o armazenamento de grandes quantidades de informações visuais. Uma área de intensa pesquisa atualmente é a extração e modelagem de conhecimento visual contido nessas bases de informações. O conceito de conhecimento visual e imagem são conceitos disjuntos, mesmo que pareçam intrinsecamente conectados. Conhecimento visual é o conjunto de modelos mentais compostos por imagens de objetos reais ou imaginárias manipuladas pelo cérebro. Esses modelos mentais são aplicados em tarefas cuja solução envolve a análise de informações visuais, como por exemplo, a extração de conteúdo semântico de imagens. Domínios imagísticos são os domínios nos quais a solução de problemas começa com um processo de casamento de padrões que capturam a informação visual e que mais tarde dará suporte ao processo abstrato da interpretação. A proposta desta dissertação é a definição de primitivas alternativas para a representação de conhecimento visual através da combinação de construtos proposicionais e pictóricos. Diferentemente de outras abordagens, o conhecimento visual capturado no modelo aqui proposto não reside nas imagens, mas na mente de especialistas. A captura do conhecimento visual é realizada através de dois metaconstrutos híbridos aplicáveis ao domínio da geologia. Os metaconstrutos são compostos de uma representação proposicional e outra icônica que são utilizadas para fins de comunicação e expressão do conhecimento visual do especialista, respectivamente. O metaconstruto Pictorial Concept representa tipos visuais enquanto que o metaconstruto Pictorial Attribute representa qualidades dos tipos visuais. Os metaconstrutos aqui definidos foram aplicados ao domínio da Estratigrafia Sedimentar, uma subárea da Geologia, na construção de uma ontologia de domínio com conteúdo visual agregado. A construção da ontologia de domínio foi realizada através de um processo de aquisição de conhecimento. O conhecimento visual foi eliciado a partir de um especialista, adquirido através da imersão na literatura do domínio e organizado de acordo com metapropriedades e metaconceitos de uma ontologia de fundamentação unificada. A ontologia é aplicada ao domínio da Estratigrafia Sedimentar para rochas siliciclásticas para a descrição de testemunhos e afloramentos. A ontologia inclui uma hierarquia de rochas, estruturas sedimentares e ambientes deposicionais. Foram modelados 36 conceitos com a adição de 60 ícones. A validação do conhecimento visual organizado foi realizada através de experimento empírico onde 21 geólogos utilizaram os ícones sem legenda para descrição de amostras de rocha. O nível de acertos das associações entre feições geológicas e ícones representam 70% para fácies e 66% para estruturas sedimentares sendo identificada uma conclusão positiva entre a experiência do geólogo e o número de acertos.The advances in technological devices allow then to capture and store significant amounts of image data. Nowadays, an intense area of research is the extraction and modeling of the existing visual knowledge in image databases. The visual knowledge and image concepts are disjointed concepts, even though they seem intrinsically connected. Visual knowledge is the set of mental models composed by images of real or imaginary objects manipulated by the brain. These mental models are applied in tasks, like the extraction of semantic content of images, where the solution requires the analysis of visual information. Imagistic domains are the domains where the problem-solving process starts with a visual pattern-matching process that captures the information, which will further support the abstract inference process of interpretation. The proposal of this master thesis is the definition of alternative primitives for the visual knowledge representation, by the combination of both propositional and pictorial constructs. Differently from other approaches, the visual knowledge captured in this model is not identifiable in images, but in the mental models of experts. The capture of the visual knowledge is reached through the use of two domainindependent hybrid meta-constructs. The meta-constructs are composed by propositional and iconic representations used for communication and to express the expert’s visual knowledge. The meta-construct Pictorial Concept represents visual kinds while the metaconstruct Pictorial Attribute represents qualities of the visual kinds. The meta-constructs defined here where applied in the Sedimentary Stratigraphy domain, a sub-area of Geology, in the construction of a domain ontology with aggregated visual content. The construction of the domain ontology was done through a knowledge acquisition process. The visual knowledge was elicited from the expert, acquired from the immersion in the literature domain and was organized according to meta-properties and meta-concepts based on a foundational ontology. The resulting ontology is applied in the Sedimentary Stratigraphy domain for the description of well cores and outcrops of siliciclastic rocks. The ontology includes hierarchies of rocks, sedimentary structures and depositional environments. In total, 36 concepts were modeled and associated to 60 icons. The validation of the visual knowledge elicited was done through an empirical experiment where 21 geologists applied the unlabeled icon set to describe rock samples. The level of right associative answers between geological features and their icons was 70% for sedimentary facies and 66% for sedimentary structures. Moreover, it was identified a positive correlation between the expert’s experience and the number of right answers