One Model to Rule them All:multitask and Multilingual Modelling for Lexical Analysis

Wanneer je een nieuwe vaardigheid leert maak je gebruik van de vaardigheden en kennis die je al bezit. Als je bijvoorbeeld een ervaren violist bent, is het waarschijnlijk makkelijker om ook cello te leren spelen. Ook bij het leren van een nieuwe taal maak je gebruik van de talen die je al beheerst. Bijvoorbeeld, als je moedertaal Noors is en je besluit dat je Nederlands wil gaan leren, dan maakt het grote aantal woorden dat op elkaar lijkt in die twee talen het waarschijnlijk makkelijker om de nieuwe taal te leren. In dit proefschrift kijk ik naar het leren van meerdere taken, het leren van meerdere talen en de combinatie daarvan, in het kader van natural language processing (NLP): de computationele analyse van menselijke taal. Hoewel deze twee soorten van leren aan de oppervlakte misschien anders lijken, laat ik in mijn proefschrift zien dat ze meerdere overeenkomsten hebben.Terwijl de traditionele NLP-benaderingen slechts een enkele taak of taal tegelijk behandelen, is het doel van dit proefschrift juist om onderzoeksvragen die deze grenzen overschrijden te beantwoorden. Dit heeft als doel dat kleinere talen op de lange termijn kunnen profiteren van de vooruitgang die in NLP wordt geboekt, aangezien deze momenteel grotendeels ten goede komt aan grotere talen. Dit kan positieve gevolgen hebben voor bijvoorbeeld taalbehoud, omdat sprekers van minderheidstalen een lagere druk zullen voelen om meerderheidstalen te gebruiken. Op de korte termijn zullen de antwoorden op de specifieke onderzoeksvragen van dit proefschrift nuttig zijn voor NLP-onderzoekers die naar hetzelfde doel streven.When learning a new skill, you take advantage of your pre-existing skills and knowledge. For instance, if you are a skilled violinist, you will likely have an easier time learning to play cello. Similarly, when learning a new language, you take advantage of the languages you already speak. For instance, if your native language is Norwegian and you decide to learn Dutch, the shared vocabulary between these two languages will likely make it easier to learn the new language. In this thesis, I look at learning multiple tasks, learning multiple languages, and the combination of the two, in the context of Natural Language Processing (NLP), which can be defined as the computational analysis of human language. Although these two types of learning may seem different on the surface, I show that they share many similarities. While traditional NLP approaches consider a single task or language at a time, the aim of this thesis is to answer several research questions dealing with pushing past this boundary. In doing so, the hope is that in the long term, minority languages can benefit from the advances made in NLP which are currently to a large extent reserved for majority languages. This may then have positive consequences for, e.g., language preservation, as speakers of minority languages will have a lower degree of pressure for using majority languages. In the short term, answering the specific research questions posed should be of use to NLP researchers working towards the same goal