Interpretability techniques for machine learning: a study addressing credit assessment and fraud detection

Atualmente técnicas de aprendizado de máquina vêm sendo constantemente utilizadas para apoiar no processo de tomada de decisões importantes para indivíduos e corporações. Com o peso dessas decisões, surgem também inúmeras preocupações relativas ao seu funcionamento, quais condições foram necessárias para levar aos resultados obtidos, ou até se possíveis erros ou vieses não interferiram. Por esse motivo, a interpretabilidade das técnicas de aprendizado de máquina é um tema cuja relevância cresce a cada dia. O objetivo dessa dissertação é avaliar as principais técnicas de interpretabilidade, para isso, aplicando-as em modelos preditivos de classificação em bases de dados reais, uma relacionada a concessão de crédito e outra sobre detecção de fraude. Dentre as técnicas avaliadas estão: Gráfico de Dependência Parcial, Permutação de Atributo de Importância, Importância de Atributo e SHAP (SHapley Additive exPlanations). Do ponto de vista metodológico, para cada base de dados foi desenvolvido um modelo preditivo e posteriormente as técnicas de interpretabilidade foram aplicadas. Os resultados mostraram que as técnicas conseguiram trazer mais entendimento sobre quais variáveis tiveram maior impacto para seu respectivo modelo, e até avaliar individualmente um consumidor, quantificando quanto cada variável contribuiu para a sua classificação final. Nesse sentido o SHAP se destacou sendo a técnica que trouxe maior variedade e qualidade de informações que contribuíram para se atingir avanço na interpretabilidade.Currently, machine learning techniques have been constantly used to support the process of making important decisions for individuals and corporations. With the burden of these decisions, there are also numerous concerns regarding its behavior, which conditions were necessary to led to the obtained results, or even if possible errors or biases interfere. For this reason, the interpretability of machine learning techniques is a topic whose relevance has grown. The objective of this dissertation is to evaluate the main interpretability techniques, applying them in predictive classification models for real databases, one related to credit granting and another about fraud detection. Among the techniques evaluated are: Partial Dependency Plot, Permutation Feature Importance, Feature Importance and SHapley Additive exPlanations (SHAP). From the methodological point of view, for each database a predictive model was developed and later the interpretability techniques were applied. The results showed that the techniques were able to bring more knowledge about which variables had the greatest impact on their respective model, and even individually evaluate a consumer, quantifying how much each variable contributed to its final classification. In this sense, SHAP stood out as the technique that brought greater variety and quality of information that contributed to achieving progress in interpretability