Recognition of handwritten mathematical equations using convolutional neural networks

U ovom radu opisan je proces prepoznavanja i rješavanja rukom napisanih matematičkih izraza. Najprije su opisani svi koraci obrade ulazne slike izraza u željeni oblik. Nakon toga, opisan je algoritam detekcije pojedinog znaka unutar izraza koristeći iterativni DFS algoritam. Detektirani znakovi su zatim proslijeđeni klasifikacijskoj konvolucijskoj neuronskoj mreži čije su pojedinosti poput arhitekture, slojeva, funkcije gubitka i postupka učenja detaljno opisani. Kod klasifikacije je objašnjen i postupak kreiranja vlastitog seta rukom napisanih znakova. Klasificirani znakovi se konačno prosljeđuju modulu za stvaranje rekurzivnih izraza koristeći heuristike inspirirane matematičkim i gramatičkim pravilima. Na posljetku, opisana su grafička sučelja za unos i izračun rukom napisanih matematičkih izraza.This thesis gives step by step explanation of the recognition and solving algorithms for handwritten math expressions. Firstly, image processing steps are explained in detail on the image containing the written expression. This is followed by details about the detection algorithm that finds symbols in expression image using an iterative DFS algorithm. Detected symbols are then passed to classifying convolutional network whose details like architecture, layers, loss function, and learning algorithm are described in detail. In the classification paragraph, there is also an explanation for the creation of a custom handwritten symbols dataset. Classified symbols are finally passed to a module designed for the creation of recursive math expressions using heuristics inspired by math and grammar rules. At the end of the thesis, there is a description of graphical user interfaces for writing and solving handwritten math expressions