Machine Learning in Security of Voice Controllable Systems

U ovome diplomskom radu prikazan je cjelokupan razvoj sustava za prepoznavanje glasa baziranog na povratnim neuronskim mrežama. Također, razvijene su i metoda koje pokušavaju iskoristiti njihove nedostatke te na taj način ugroziti sigurnost takvih sustava i integritet podataka korištenih u fazi treniranja modela strojnog učenja. Prvo poglavlje iznosi motivaciju koja je dovela do razvoja sustava za prepoznavanje glasa i metoda koje predstavljaju napade na takav sustav. U drugome poglavlju opisan je proces nastajanja ljudskog govora te na koji način današnja računala shvaćaju govor. Treće poglavlje iznosi pregled metoda koje se koriste u sustavima za prepoznavanje glasa te pregled metoda koje se koriste u sigurnosti takvih sustava, bilo za obranu ili napad. Četvrto poglavlje opisuje skup podataka, odnosno format korištenih podataka te njihova podjela u skupove. Peto poglavlje opisuje izvlačenje značajki zvučnog signala te sustav za prepoznavanje glasa. Šesto poglavlje opisuje suparničke primjere i pokušaje implementacije, zaključno sa sedmim poglavljem gdje je iznesen konačni zaključak.In this master thesis development of the voice recognition system based on RNN-s is shown. There are methods developed which are trying to attack security and integrity of that kind of systems and data used for training. First chapter gives motivation which led to the development of the voice recognition system and methods for attack. In Chapter 2 process of creating human speech is described, along with the computer understanding of the speech. Third chapter presents overview of methods used in this kind of systems security. Chapter 4 describes the used set of data in this master thesis, used format and their partition in to the subsets. Chapter 5 describes how voice signal features and system for voice recognition is implemented and described. Chapter 6 presents adversial examples and attempt of the implementation, concluding the work with the chapter 7 where future work is proposed as well