Practical Challenges in Active Learning for Natural Language Processing

Uz obilje novih podataka koji se generiraju svakodnevno, računala se sve više upotrebljavaju za otkrivanje znanja u podatcima i učenje predviđanja novih vrijednih informacija. Proces prikupljanja podataka s korisnim oznakama može biti skup i dugotrajan. Aktivno učenje (AL) pojavilo se kao pristup biranja samo najinformativnijih podataka iz skupa i predaja tih podataka ljudima na označavanje, tako smanjujući troškove i štedeći vrijeme. U ovom je radu izložena teorijska i matematička podloga za aktivno učenje. Opisano je pet različitih strategija aktivnog učenja temeljenih na mjerama nesigurnosti i pretraživanju prostora inačica. Četiri klasifikacijska zadatka iz domene obrade prirodnoga jezika riješena su dvama modelima strojnog učenja, strojem potpornih vektora i povratnom neuronskom mrežom. Provedeni su eksperimenti koji uspoređuju uspješnost rješavanja zadataka rabeći strategije aktivnoga učenja i nasumično uzorkovanje. Analiza rezultata pokazala je da je barem jedna aktivna strategija učenja uvijek dala bolje rezultate od slučajnog uzorkovanja na svakom skupu podataka sa svakim modelom. Također je utvrđeno da je teško unaprijed znati koju strategiju aktivnoga učenja odabrati za biranje podataka. Predstavljeni su savjeti za učinkovitu implementaciju procesa aktivnog učenja u praksi.With an abundance of new data generated every day, machines are increasingly used to extract knowledge from data and learn to predict new valuable information. The process of gathering data with useful labels can be expensive and time-consuming. Active learning (AL) has emerged as an approach for selecting only the most informative data instances and handing them to humans for labeling, thus reducing costs and saving time. In this thesis, a theoretical and mathematical foundation for active learning is laid out. Five different active learning selection strategies based on uncertainty measures and version-space search were described. Four classification tasks from the domain of Natural Language Processing were solved using two machine learning models, a support vector machine, and a recurrent neural network. Experiments that compare performance on tasks when using active learning strategies versus random sampling were conducted. The analysis of results showed that at least one active learning strategy always performed consistently better than random sampling on every dataset with each model. It was also found that it is hard to know beforehand which AL strategy to use for querying data. Tips for efficient implementation of the active learning process in practice were presented