Classification of financial documents with Naïve Bayes and a rule-based classifier : A comparison between Naïve Bayes and a rule-based classifier in the field of financial documents

This thesis explores if classification of financial documents is possible through machine learning with implementations of Naïve Bayes and a rule-based method. It further explores the differences between these approaches, including a version of Naïve Bayes that includes a decision threshold. Incentives behind a non-human classifier are evaluated from an organizational perspecitive. The machine learning implementation was trained on historical data supplied by the client, and the rules for the second method were established by conducting an interview with one of the employees who previously has worked with classification. The results show that all three implementations are sufficient viewing the accuracy, precision and execution time. The time to sort, which includes the time to manually sort incorrectly sorted files and classification of files the sorter deemed as uncertain, was considerably lower for the Naïve Bayes implementations. The version including a decision threshold performed the best, showing the highest precision, but a lower accuracy. It was hence apparent that this implementation was most suitable for this context, and could replace a completely human classifier to increase the efficiency of classifying financial documents. Arbetet undersöker om klassificering av finansiella dokument är möjligt genom maskininlärning med implementationer av Naïve Bayes och en regelbaserad metod. Vidare undersöks skillnaderna mellan dessa två klassificerare, samt en version av Naïve Bayes med en implementation av ett tröskelvärde. Incitament bakom en icke-mänsklig klassificerare utvärderas sedan utifrån ett organisatoriskt perspektiv. Maskininlärningsimplementationen tränades på historisk data från uppdragsgivare och reglerna till den andra metoden fastställdes genom en intervju med en anställd hos uppdragsgivaren som tidigare arbetat med klassificeringen. Resultatet visar att alla metoder uppnådde tillfredsställande resultat sett utifrån mått på noggrannhet, precision och exekveringstid. Den totala tidsåtgången, vilken beaktar manuell hantering av felsorteringar och klassificering av filer som ej kunde sorteras, var avsevärt lägre för implementationerna med Naïve Bayes. Versionen med toleransnivå presterade bäst och uppvisade högre precision, men en lägre noggrannhet. Det blev således tydligt att denna implementation var lämpligast i denna kontext, och att den skulle kunna ersätta en fullständigt mänsklig klassificerare för att effektivisera klassificering av finansiella dokument