Adversarially robust speech and speaker recognition

Sprachassistenten beantworten Fragen, spielen Musik und steuern Smart Homes. In dieser Arbeit wird die Robustheit von Sprach- und Sprechererkennung untersucht. Im ersten Teil zeigen wir, dass eine gewichtete Erkennung auf der Basis von Umgebungsbedingungen genauer ist, als die einer einzelne Modalität. Zusätzlich schlagen wir eine Methode zur Erkennung von Spoofing-Angriffen gegen audiovisuelle Sprechererkennung vor. Im zweiten Teil zeigen wir die Berechnung von unauffälligen Adversarial Examples mit Hilfe von Psychoakustik. Außerdem wird der Angriff so erweitert, dass die resultierenden Adversarial Examples über verschiedene Räume hinweg robust bleiben und zeigen einen Mechanismus zur Erkennung von Adversarial Examples. Zusätzlich führen wir eine Analyse der Empfindlichkeit von Smart Speaker gegenüber versehentlichen Aktivierungen durch. Wir untersuchen die Häufigkeit von versehentlichen Aktivierungen und schlagen einen Ansatz zur künstlichen Herstellung von diesen vor