Deep Models Based Scanned Text Recognition

Iako je optičko prepoznavanje znakova (OCR) uglavnom riješen problem, uvijek ima mjesta za poboljšanja, pogotovo kod obrade povijesnih dokumenata i slika slabije kvalitete. Koristeći pristup CTC, duboki modeli temeljeni na povratnim neuronskim mrežama su uspješno primijenjeni na probleme označavanja sekvenci, kao što je prepoznavanje teksta. Danas često korištena arhitektura neuronskih mreža, koja spaja konvolucijske i povratne slojeve s izlazima CTC i odgovarajućim gubitkom, je isprobana na većem javno dostupnom skupu podataka i na drugom manjem skupu koji je dobiven skeniranjem izabranih knjiga. Drugi skup je označen koristeći aplikaciju s grafičkim korisničkim sučeljem koja je razvijena u sklopu ovog rada i služi za poluautomatsko označavanje teksta na razini znakova. Pokazano je i da unaprijed naučeni model zahtijeva malu količinu novih podataka za učenje kako bi postigao zadovoljavajuće rezultate na drugačijem skupu.Although optical character recognition (OCR) is mostly a solved problem, there is always room for improvement, especially when dealing with historical documents and poor quality images. Using the connectionist temporal classification (CTC) approach, deep models based on recurrent neural networks are successfully applied to sequence labelling tasks, such as text recognition. A commonly used neural network architecture, that combines convolutional and recurrent layers with CTC output and the corresponding loss function, is tested on a bigger publicly available dataset and a smaller one obtained by scanning pages from several books. The second dataset is annotated using a desktop application with a graphical user interface that is developed as a part of this thesis and aids in the character-level text annotation. It is also shown that a pre-trained model requires a small amount of new training data to achieve satisfactory results on a different dataset