Natural language understanding and generation using utterance meaning transducers

In der vorliegenden Arbeit wird die Verwendung von endlichen Transduktoren zur bidirektionalen Übersetzung zwischen der syntaktischen und semantischen Ebene eines natürlichsprachlichen Dialogsystems untersucht. Zur Bedeutungsrepräsentation werden Merkmal-Werte-Relationen verwendet. Solche beschrifteten partiellen Ordnungen ermöglichen eine hierarchische Strukturierung von semantischen Begriffen und können durch gerichtete azyklische Graphen dargestellt werden. Auf Grundlage eines bedeutungsorientierten Sprachmodells wird eine mögliche Vorgehensweise zur Modellierung von Äußerungs-Bedeutungs-Transduktoren vorgestellt. Voraussetzung dafür ist eine Sprachdatensammlung, welche zum Beispiel mit Hilfe von Wizard-of-Oz Experimenten erstellt werden kann. Für die eigenen Untersuchungen wurden Transduktoren zu Sprachäußerungen der deutschen Lautsprache und der Deutschen Gebärdensprache konstruiert. Diese semantischen Grammatiken werden sowohl für die Interpretation als auch für die Artikulation eingesetzt. Auf der Perzeptionsseite ist somit die automatische Generierung von semantischen Zeichenketten zu einem gegebenen Worthypothesegraphen realisierbar. Durch die Klammerstruktur der semantischen Zeichenketten kann die dazugehörige Merkmal-Werte-Relation erzeugt werden. Diese Bedeutungsrepräsentation wird in der Beispielanwendung unter Verwendung des inversen Äußerungs-Bedeutungs-Transduktors direkt wieder artikuliert. Zuvor ist jedoch eine Linearisierung der Merkmal-Werte-Relation notwendig. Als Ergebnis dieser beiden Übersetzungsprozesse erhält man eine sinngemäße Wiedergabe zu der gegebenen Sprachzeichenfolge. Durch die Verwendung sprachabhängiger semantischer Grammatiken ist zudem auch eine bedeutungsorientierte Übersetzung des erkannten sprachlichen Ausdrucks realisierbar. Zusätzlich wurde auch ein aktuelles Verfahren zur semantischen Dekodierung mit endlichen Transduktoren umgesetzt, welches ein konzeptuelles stochastisches Sprachmodell nutzt. Damit ist eine vergleichende Bewertung dieser beiden Vorgehensweisen zur semantischen Interpretation möglich.The use of finite state transducers for bidirectional translation between the syntactic and semantic level in a speech dialogue system will be investigated in the present PhD thesis. For meaning representation so-called feature-values relations are used. This data structure can be illustrated by an acyclic directed graph. Such labeled partial orders enable a hierarchical conceptual meaning representation. An approach for modeling utterance meaning transducers is presented, which is based on a meaning-oriented language model. An essential prerequisite for this is a corpus of utterances, which can be collected, for instance, by Wizard of Oz experiments. For own investigations finite state transducers are developed for utterances of spoken German language and German Sign Language. These semantic grammars are used for both spoken language understanding and language generation. Thus, at a given word lattice possible semantic strings can be generated automatically and this bracketed semantic string can be converted to the appropriate feature-values relation. In an application example a sequence of words is directly generated from this meaning representation. Inverse utterance meaning transducers are used for this task, but first the feature-values relation has to be linearized. As a result of these two translation processes, a paraphrase to a given sequence of words will be obtained. It is also feasible to realize a meaning-oriented translation of a given utterance by using different languagedependent semantic grammars for spoken language understanding and generation. In addition, a current method of semantic decoding has been implemented, which is also based on finite state transducers. This approach uses a conceptual stochastic language model. Therefore, it is possible to compare the two different methods