Exposure of Private Data in Language Models -- Attacks and Defenses

U posljednje vrijeme, sve se više jezičnih modela koristi u raznim kompanijama s raznim primjenama. Razvojem jezičnih modela, problem pamćenja osjetljivih podataka sve je veći, te je potrebno staviti veći fokus na sigurnosni aspekt jezičnih modela, to jest razvijati načine za sprječavanje jezičnih modela od učenja osjetljivih podataka. U ovom Diplomskom radu, cilj je bio pokušati spriječiti model od učenja osjetljivih podataka metodama maskiranja, odnosno maskiranjem osjetljivih podataka u setu podataka prije nego podaci uopće stignu do jezičnog modela. Metode maskiranja su predstavljene kao alternativa popularnoj strategiji diferencijalne privatnosti (differential privacy), koja se uobičajeno koristi u ovu svrhu. Da bismo bili sigurni da metode maskiranja rade, potrebno je provjeriti dva aspekta – jesmo li uspješno maskirali sve osjetljve podatke te jesmo li maskiranjem narušili uspješnost jezičnog modela. Kroz poglavlja, istraženo je mnogo različitih pristupa metodama maskiranja. Za svaku pojedinu metodu, priloženo je nekoliko primjera rada, te je priložena diskusija o konačnim rezultatima maskiranja te uspješnosti jezičnog modela nad podacima. Za svaku je metodu objašnjeno kako radi te što točno znače pojedine vrijednosti metrika jezičnog modela. Glavne metode za maskiranje obrađene ovim radom uključuju regularne izraze, prepoznavanje imenovanih entiteta te izuzimanje riječi koje ne spadaju u Engleski jezik.Having many language models being trained and used in more and more companies and use cases, it is becoming increasingly important to be able to prevent these models from learning sensitive data from their inputs. In this Master’s thesis, the aim is to explore methods of masking sensitive data in datasets that are being fed to language models, as an alternative to the popular method of differential privacy, all while maintaining a satisfactory level of performance of the final model. In the chapters, many masking approaches are discussed and tested. For every approach, a detailed discussion is provided, explaining why each method behaves in a way that it does, what are the benefits, the drawbacks and what are the potential risks of each method. The main methods used for the task of masking are ones that involve regular expressions, Named Entity Recognition and recognizing English words