Ett nytt interaktivt ramverk med låg annoteringskostnad för Named Entity Recognition

Named entity recognition (NER) is the process to sequence label an unstructured data to solve high ambiguity. It targets to identify all the named entities using predefined categories. The datasets used in domain-specific NER tasks require manual annotation. Unfortunately, the annotators are usually domain experts which can be extremely expensive. Recent studies have shown that using active learning combined with a machine learning algorithm can reduce the annotation effort. However, active learning queries experts for labels dozens of times during the training. The waiting time between the iterations for both annotators and data engineers makes the traditional active learning framework impractical. In this thesis project, a novel low annotation cost framework, two-step active learning is introduced to solve a real world NER task where the unlabeled domain-specific data is provided by Ericsson. The available annotating expert during the thesis work is an Ericsson employee. To evaluate the novel framework, another open labeled dataset is used. The NER task on Ericsson’s dataset is successfully solved and achieved 0.81 as the F1 score, where only 27.5% of the data was manually labeled. When evaluating the algorithm with the open dataset, the results have shown that the two-step active learning approach outperformed the traditional passive learning trained on the same amount of data (randomly selected). When training on 100% of the data using the passive learning approach, both active learning and two-step active learning reached similar performance with only 32% of the original data, where two-step active learning queries for labels only two times.Named Entity Recognition (NER) är en process för sekventiell annotering av ostrukturerad data i textform, med målet att lösa problem med tvetydighet. Målet är att identifiera alla de namngivna enheterna med hjälp av fördefinierade kategorier. De data som används i domänspecifika NER-uppgifter kräver manuell annotering. Tyvärr är annoterarna vanligtvis domänexperter som kan vara mycket kostsamma. De senaste utförda studierna har visat att användning av aktiv inlärning i kombination med en maskininlärningsalgoritm kan minska annoteringsbördan. I aktiv inlärning efterfrågas däremot märkning från experter dussintals gånger under träningsprocessen. Väntetiden mellan iterationerna för både annoterare och dataingenjörer gör det traditionella aktiva inlärningsramverket opraktiskt. I detta mastersexamensarbetet introduceras ett nytt ramverk med låg annoteringskostnad, kallat tvåstegs aktiv inlärning, för att lösa en verklig NER-uppgift där den omärkta domänspecifika datan tillhandahålls av Ericsson AB. Den tillgängliga annoteraren under examensarbetet är en anställd på Ericsson. För att utvärdera det nya ramverket används ett fritt tillgängligt färdigmärkt dataset. NER-uppgiften i Ericssons dataset löses framgångsrikt och en F1-poäng på 0,81 uppnås, där endast 27,5% av datan märktes manuellt. Vid utvärderingen av algoritmen med den fritt tillgängliga datamängden har resultaten visat att metoden tvåstegs aktiv inlärning överträffade traditionell passiv inlärning tränad på samma mängd data (slumpmässigt utvald). Vid användning av 100% av datamängden i den passiva inlärningsmetoden, fick både aktiv inlärning och tvåstegs aktiv inlärning liknande resultat med endast 32% av den ursprungliga datan där tvåstegs aktiv inlärning efterfrågade märkning endast två gånger