Confiabilidade de explicações visuais de modelos profundos através de perturbação adversarial

O crescente interesse em redes neurais profundas complexas para novas aplicações exige transparência em suas decisões, o que leva a uma necessidade de explicações confiáveis das decisões tomadas por esses modelos. Trabalhos recentes propuseram novos métodos de explicação para apresentar visualizações interpretáveis da relevância das instâncias de entrada. Esses métodos calculam mapas de relevância que geralmente se concentram em diferentes regiões de pixel e são comumente comparados por inspeção visual. Isso significa que as avaliações são baseadas na expectativa humana, em vez da real importância das features. Neste trabalho, propomos uma métrica eficaz para avaliar a confiabilidade da explicação de modelos. Essa métrica é baseada nas mudanças da resposta da rede, resultante da perturbação das imagens de entrada de maneira adversarial. Essas perturbações consideram todos os valores de relevância e suas inversões (irrelevância), de modo que a métrica tenha características de precisão e revocação. Também propomos uma aplicação direta dessa métrica para filtrar mapas de relevância, a fim de torná-los mais interpretáveis sem a perda de explicações importantes. Nós apresentamos uma comparação entre alguns métodos de explicação amplamente conhecidos e seus resultados pela métrica proposta. Também expandimos os resultados para uma discussão sobre técnicas de visualização e a quantidade de informação que é perdida para torná-las mais interpretáveis e intuitivas. Em seguida, mostramos os resultados do nosso método de filtragem que aborda esse problema. Além disso, apresentamos uma análise aprofundada das propriedades da métrica que a tornam apropriada para uma variedade de tarefas. Nela, observamos a importância de usar a irrelevância, a robustez a valores aleatórios e imagens classificadas incorretamente, e a correlação entre a métrica e a perda do modelo avaliado.The increasing interest in complex deep neural networks for new applications demands transparency in their decisions, which leads to the need for reliable explanations of such models. Recent works have proposed new explanation methods to present interpretable visualizations of the relevance of input instances. These methods calculate relevance maps which often focus on different pixel regions and are commonly compared by visual inspection. This means that evaluations are based on human expectation instead of actual feature importance. In this work, we propose an effective metric for evaluating the reliability of the explanation of models. This metric is based on changes in the network's outcome resulted from the perturbation of input images in an adversarial way. These perturbations consider every relevance value and its inversion (irrelevance) so that the metric has characteristics of precision and recall. We also propose a direct application of this metric to filter relevance maps in order to create more interpretable images without any loss in essential explanation. We present a comparison between some widely-known explanation methods and their results using the proposed metric. We also expand the results into a discussion on visualization techniques and the amount of information lost to make them more interpretable. Then, we show the results of our filtering method which tackles this problem. In addition, we further present an in-depth analysis of the properties of the metric which make it appropriate for a variety of tasks. It shows the importance of using the irrelevance, the robustness to random values and misclassified images, and the correlation between the metric and the loss of the model evaluated