FINANCIAL INTERPRETABILITY WITH INTELLIGENT METHODS UNDERSTANDING INTELLIGENT DECISIONMAKING SYSTEMS WITH KNOWLEDGE TRANSFER

Dissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e TecnologiaMétodos deep-learning, como redes neurais convolucionais e recorrentes, têm-se tronado nos algoritmos padrão numa vasta gama de sectores de actividade. No entanto, a aplicabilidade em várias aplicações críticas, por exemplo, políticas públicas, sistemas de segurança, diagnósticos de saúde e detecção de fraude, tem enfrentado alguns obstáculos devido à falta de interpretabilidade destes modelos.A interpretabilidade tem sido um foco de investigação desde o início da concepção de modelos de a, isto deve-se ao facto de que a elevada precisão e abstracção destes modelos trazerem o problema da caixa negra o que por sua vez leva ao problema da precisão vs interpretabilidade. Este aspecto também é importante devido a problemas de fiabilidade, um modelo que não inspire confiança é um modelo que dificilmente será utilizado. Estas questões surgem frequentemente em cenários reais de aplicação, onde os utilizadores finais não são facilmente convencidos da fiabilidade destes modelos caixa negra. A existência de modelos tendenciosos (biased) é um exemplo claro deste problema. Com a crescente utilização de modelos inteligentes como parte de sistemas de recomendação e social scoring, os preconceitos sociais presentes nos dados utilizados na formação destes modelos tornaram-se num problema global recorrente que precisa de ser abordado. Quando estes modelos são alimentados com estes preconceitos implícitos durante o a fase de treino, aprendem também a ser preconceituosos, propagando e agravando potencialmente o problema a longo prazo. Definindo o contexto no sector de serviços financeiros, se um banco decidir adoptar um modelo de aprendizagem máquina para classificar a solvabilidade de um candidato, e utilizar dados históricos do banco, enquanto estes candidatos foram previamente aprovados ou negados por seres humanos, o modelo pode exibir padrões de preconceito contra géneros ou etnias. O trabalho na interpretabilidade visa mitigar problemas como este ao permitir a abertura de modelos de caixa negra. Ao compreender o raciocínio subjacente a uma determinada decisão, não só compreenderemos melhor o processo de tomada de decisão passado das entidades que os utilizam, como também seremos capazes de mitigar os preconceitos futuros, bem como aumentar a confiança nas decisões apoiadas pelos modelos.Os resultados mostram que a transferência de conhecimento pode ser utilizada para melhorar a precisão de modelos mais interpretáveis como árvores decisão e, em certos contextos, permite que estes substituam os modelos deep-learning.Em alguns casos o modelo para o qual o conhecimento está a ser transferido dadas as suas diferenças durante o treino pode ter capacidades diferentes, por exemplo, um recall, mantendo o mesmo F-score, o que permite a criação de um conjunto de modelos de modo a obter o melhor de ambas as partes.Deep learning methods, as convolutional and recurrent neural networks, are becoming standard go-to algorithms for a wide range of activity sectors. However, applicability in several critical applications, e.g. public policy, security/safety systems, health diagnosis, and fraud detection, has faced some hurdles due to lack of model interpretability. Interpretability has been a focus of research since the beginning of Deep Learning because the high accuracy and high abstraction bring the black-box problem, i.e. the accuracy vs interpretability problem. This aspect is also of importance because of trustworthiness issues, i.e. a model that is not trusted is a model that will not be used. These issues often arise in real application scenarios, where end-users are not easily convinced of the reliability of the black-box model. The existence of biased algorithms is a clear example of this problem.With the increased use of intelligent models as part of recommendation systems and social scorings, social biases present in the data used to train these models have made it a recurrent global problem that needs to be addressed. When algorithms are fed these implicit biases they learn how to be biased too, potentially propagating and escalating the problem in the long run. Setting the context on financial services, if a bank decides to adopt a \acrfull{ml} algorithm to classify the creditworthiness of an applicant, and uses bank historical data, when applicants were approved or denied by humans, the algorithm may display patterns of bias against gender or ethnicity. Works on interpretability aim to mitigate problems like this by opening these black-box models. If we can understand the reasoning behind a certain decision not only we will better understand the past decision-making process of the entities using these models, but we will also be able to mitigate future biases as well as increase trust in the decisions supported by the models.Results show that knowledge transfer can be used to improve more interpretable models accuracy and in certain contexts allows for complete substitution of the DNN model in place of a more interpretable model like a decision-tree. It is also shown than in certain experiments the model to which the knowledge is being transferred too has different capabilities e.g. higher recall while keeping same F-score, which allows for the creation of a model ensemble in order to get the best of both parts