How text based explanations for increased understanding should be designed for financial AI-systems

Den finansiella sektorn har kunnat ta del av stora fördelar med avancerade AI system som kan förutspå trender och ta egna beslut baserat på tidigare processer. Detta betyder att system som använder AI med 100-tals parametrar kan utföra mer arbete med mindre arbetstimmar än en människa. För att människan ska kunna lita på sådana tänkande maskiner måste människan ha möjligheten att förstå programmen så att hen kan kontrollera att systemet följer människors värderingar och behov. Kommunikationen mellan människa och system görs genom att maskinen förklarar varför den tog ett visst beslut även kallat “Explainable AI” (XAI). Studien som genomförts påvisar att XAI saknar tydliga riktlinjer hur dessa förklaringar bör designas för att skapa förståelse till de som arbetar med dessa kraftfulla system. Detta examensarbete fokuserar på att undersöka kreditchefers roll i banken, vad dom baserar sina beslut på och hur användarcentrerade förklaringar kan bidra till ökad förståelse av AIproducerade beslut av låneansökningar. För att uppnå detta resultat har UX-metoder används som sätter verkliga användare i fokus. Datainsamlingen bestod av kvalitativa intervjuer med kreditchefer på banker i Sverige som sedan analyserades och jämfördes med rådande forskning inom AI och XAI. Ett 30-tal domänspecifika parametrar identifierades som låg till grund för sex designade förklaringar där förståelsen utvärderades genom att jämföra förklaringarnas olika resultat från kreditcheferna. Fem rekommendationer presenteras om hur AI-system bör presentera förklaringar till kreditchefer på mindre banker i Sverige.The financial sector has been able to enjoy great benefits with advanced AI systems that can predict trends and make their own decisions based on previous processes. This means that systems that use AI with hundreds of parameters can perform more work with fewer working hours than a human. In order for humans to be able to trust such thinking machines, humans must have the opportunity to understand the programs so that they can check that the system follows people's values and needs. The communication between humans and the system is done by the machine explaining why it made a certain decision also called "Explainable AI" (XAI). The study carried out shows that XAI lacks clear guidelines on how these explanations should be designed to create better understanding for those who work with these powerful systems. This thesis focuses on examining the role of credit managers in the bank, what they base their decisions on and how user-centered explanations can contribute to a greater understanding of AI-produced decisions of loan applications. To achieve this result, UX methods have been used that put real users in focus. The data collection consisted of qualitative interviews with credit managers at banks in Sweden, which were then analyzed and compared with current research in AI and XAI. About 30 domain-specific parameters were identified as the basis for six designed explanations where the understanding was evaluated by comparing the explanations' different results from the credit managers. Five recommendations are presented on how AI systems should present explanations to credit managers at smaller banks in Sweden