The diagnostic visual feature mapping and documentation in a knowledge-base system for interpretation in the Petrographic domain

Nos domínios visuais, interpretações são iniciadas pela identificação de feições em imagens que irão, posteriormente, dar suporte aos processos mais abstratos de inferência. Para desenvolver sistemas de conhecimento neste tipo de domínio é necessário buscar a melhor representação do conhecimento visual para ser utilizado pelos métodos de inferência. A representação em formato simbólico deste conhecimento auxilia na captura do conhecimento implícito presente em imagens, permitindo seu uso nos processos de raciocínio, mesmo aceitando que parte desse conhecimento não é externalizado e, em conseqüência, não poderá ser representado adequadamente. Estudos recentes têm utilizado anotação de imagens como uma maneira capaz de auxiliar na explicitação do conhecimento, ampliando a expressividade dos formalismos de representação e permitindo o registro das informações associadas às imagens. Embora anotações de imagens flexibilizem a captura do conhecimento, ontologias são associadas às anotações para garantir a formalização do conhecimento nas imagens, suprindo os termos de domínio que podem ser usados para anotar e auxiliar a uniformização da linguagem nas consultas. O objetivo desse trabalho é capturar e documentar o conhecimento visual que dá suporte à inferência nas tarefas de interpretações. Nesse trabalho é elaborada uma maneira de identificar objetos em imagens que contenham feições diagnósticas através da utilização de uma ontologia de domínio pré-existente. Essa identificação de objetos é explorada para permitir a localização física de uma determinada feição em um objeto real. O resultado disso é a identificação de feições em uma imagem tendo-se um referencial de posição segundo um sistema de coordenadas espacial, possibilitando o seu re-posicionamento. O trabalho ainda explora recursos para a melhor utilização de informações relacionadas a uma imagem. Dessa forma, serve de documentação auxiliar para prover diferencial em interpretações. O domínio de aplicação deste trabalho é a Petrografia Sedimentar que tem como uma das tarefas a descrição quantitativa e qualitativa dos minerais que compõem uma amostra de rocha, visando a análise do potencial de um reservatório de petróleo. As informações são visualizadas em uma amostra de rocha e, assim, um especialista toma decisões quanto à viabilidade de exploração do reservatório. Esse modelo foi validado através da implementação de um módulo de anotação de imagem e de referenciamento de objetos, juntamente com um hardware. O processo de descrição de amostra de rocha é detalhado para se explorar o conhecimento em imagens com a precisão da localização dos objetos nela identificados. Essa abordagem complementa os modelos de representação simbólica, que normalmente são insuficientes para capturar a semântica das feições que dão suporte a inferência em domínios visuais.Problem solvers in visual domains apply image interpretation to extract evidences to support the reasoning process in the search of solution. In order to develop knowledge systems in this kind of domain, it is necessary to represent the knowledge that is extracted from the scenes in the domain in such way that can be used by the inference methods. The symbolic representation formalisms help in shading light on the implicit knowledge embodied in images, allowing its use in reasoning processes, even accepting that part of this knowledge can not be properly expressed by the experts and, in consequence, it is never going to be adequately represented in knowledge models. Some studies use image annotation to extend the semantic capture of the visual knowledge beyond the expressiveness of representation formalisms, allowing that additional content could be described and stored with the images. Although the annotation is a more flexible way of capturing knowledge, ontologies are used along with it to guarantee the formalization of the knowledge annotated in the images, supplying the domain terms that can be used in the annotation process and helping the uniformization of the language and further consultation. The goal of this work is capturing and documenting the visual knowledge that supports inference on interpretation tasks. The work offer a way of identifying objects in images that correspond to diagnostic features and describing them with the support of a pre-existent domain ontology. The object identification is associated to the physical location of the feature in the real object, with the help of a hardware appliance. The result is the feature identification in the image with the reference of its position in a system of spatial coordinates. The work also explores multimedia resources for the best use of information associated to the image, providing an extra-support for knowledge documentation for interpretation tasks. The application domain of this work is the sedimentary petrography, the formal description of rocks in the scope of Petrological studies. The task in focus is the compositional description of minerals in a rock sample, both in qualitative and quantitative way, in order to evaluate the potential of a petroleum reservoir. Several aspects of the rock are studied by the geologist to suggest better techniques for exploration and production of oil fields. The approach defined in this project was validated through the implementation of an image annotation and referencing modules associated to microscope stage appliance that allows the computer to control the movement of the stage during the description process. The whole process of rock sample analysis using the software and the hardware is detailed in order to expose the visual knowledge and its physical position in the rock sample. This approach complements the symbolic representation models that are usually insufficient to capture the semantic of diagnostic features that support reasoning in visual domains