Relevance Feedback to content-based image retrieval to minimize semantic gap

O objetivo deste projeto de Mestrado foi o estudo, a análise e o desenvolvimento de técnicas de Realimentação de Relevância (RR) para melhorar a respostas de consultas por similaridade que empregam técnicas de recuperação de imagens por conteúdo (do inglês content-based image retrieval - CBIR). A motivação para o desenvolvimento deste projeto veio do iRIS (internet Retrieval of Images System), que é um protótipo de servidor Web para o processamento de consultas por similaridade, em construção no GBdI (Grupo de Bases de Dados e Imagens) do ICMC-USP. O iRIS pode ser integrado a PACS (Picture and Archiving and Communication System) permitindo que estes possam recuperar imagens por semelhança. A principal restrição do uso de sistemas que incorporam CBIR é a descontinuidade semântica (semantic gap), que credita-se principalmente à utilização de características de baixo nível para descrever as imagens. As características mais utilizadas são baseadas em cor, textura e forma, e geralmente não conseguem mapear o que o usuário deseja/esperar recuperar, gerando um descontentamento do usuário em relação ao sistema. Entretanto, se sistema permitir a iteração do usuário na classificação do conjunto resposta e usar estas informações no processo de refinamento, as consultas podem ser re-processadas e os resultados tendem a atender a expectativa do usuário. Esse é o propósito das técnicas de realimentação de relevância. Este projeto desenvolveu duas técnicas de realimentação de relevância (RR): o RF Projection e o RF Multiple Point Projection. O ganho com a aplicação dessas técnicas foi expressivo, alcançando 29% a mais de precisão sobre a consulta original já na primeira iteração e 42% após 5 iterações. Os experimentos realizados com usuários mostraram que em média são executadas 3 iterações para chegar a um resultado satisfatório. Pelos resultados apresentados nos experimentos, podemos afirmar que RR é uma poderosa ferramenta para impulsionar o uso dos sistemas CBIR e aprimorar as consultas por similaridade.This Master project aimed at studying, analyzing and developing relevance feedback (RF) techniques to enhance similarity queries that employ the content-based image retrieval (CBIR) approach. The motivation to develop this project came from the iRIS (internet Retrieval of Images System), which is a Web server prototype to process similarity queries. The iRIS can be integrated to a PACS (Picture and Archiving and Communication System) adding the functionality of retrieval images comparing their inherent alikeliness. The main reservation about using CBIR techniques is the semantic gap, because the general use of low level features to describe the images. The low level features, such as color, texture and shape, mostly cannot bridge the gap between what the users expect/want to what they get, generating disappointment and refusal of employing the system. However, if the user is allowed to interact with the system, classifying the query results and using such information on refinement steps, the queries can be reprocessed and the results tend to comply with the users expectation. This is just the core of the relevance feedback techniques. Looking at this scenario, this project developed two relevance feedback (RF) techniques: the RF Projection and the RF Multiple Point Projection. The improvements on the similarity queries were expressive going to up 29% with only one interaction, and to 42% on the fifth interaction, when compared to the original query. Experiments performed with users, have shown us that in average they run 3 iterations before get satisfactory results. By the results given by the experiment, one can claim that RF is a powerful approach to improve the use of CBIR systems and enhance similarity queries