Modellierung von Weltwissen mit Skripten

It is generally believed that incorporation of common sense knowledge about the world would benefit natural language understanding systems. This dissertation considers modeling common sense knowledge associated with everyday activities. The common sense knowledge about everyday activities can be understood and modeled using the concept of scripts. Scripts are sequences of events describing stereotypical human activities (i.e.~scenarios), for example, cooking pasta, baking a cake, etc. Scripts have been shown to be useful for drawing inferences from text. Consequently, scripts find applications in the area of natural language processing (NLP) and artificial intelligence (A.I.), for example, temporal reasoning, coreference resolution, story understanding and question answering systems. To model script knowledge, three main tasks need to be addressed: event ordering, event paraphrasing and event prediction. This dissertation introduces a novel probabilistic neural network based model for learning event ordering and event paraphrasing from a crowdsourced scripts corpus and the Gigaword news corpus. The model outperforms currently prevalent graph based and count based methods. In addition to event ordering and paraphrasing, a script understanding system should have the ability to predict an upcoming event in a script. We propose an extension of the event ordering model for event prediction. Experiments on a movie summary corpus show the advantages of the event prediction model over existing count based methods. Currently, most corpora describing narratives involve inter-mingling of scripts from many different scenarios. Such narratives containing the inter-play of different scenarios make it difficult to study the influence of script knowledge corresponding to a single scenario. In order to address this problem and analyze the contribution of script knowledge, this dissertation introduces the InScript corpus. InScript is a crowdsourced collection of stories, where each story is about only one particular script scenario. The corpus is manually annotated with script specific event types, participant types and coreference information. Intuitively, script knowledge should influence language understanding. This dissertation contributes towards foundational work done for understanding the influence of script knowledge on language comprehension. We propose models for checking the influence of script knowledge on discourse referent prediction. From multiple experiments, we conclude that script knowledge makes a substantial contribution in predicting the upcoming discourse referents. Thus, we were able to empirically establish that script knowledge plays a significant role in language comprehension.Im Allgemeinen wird angenommen, dass Systeme zur automatischen Sprachverarbeitung von der Benutzung von Weltwissen profitieren können. In dieser Dissertation wird Weltwissen in der Form alltäglicher Tätigkeiten modelliert. Weltwissen in dieser Form kann mit Hilfe von sogenannten Skripten verstanden und modelliert werden. Skripte sind Sequenzen von Ereignissen, die stereotypische menschliche Tätigkeiten (Szenarien'') beschreiben, z.B. das Kochen von Nudeln, das Backen eines Kuchens etc. Die Nützlichkeit von Skripten wurde vor allem bei Systemen der automatischen textuellen Inferenz gezeigt. Als Konsequenz finden Skripte Anwendung im Bereich von automatischer Verarbeitung natürlicher Sprache und in der künstlichen Intelligenz, z.B. beim zeitlichen Schließen, der Auflösung von Anaphern, dem automatischen Verstehen von Geschichten und in Systemen zur automatischen Beantwortung von Fragen. Um Skriptwissen zu modellieren, müssen 3 zentrale Aufgaben betrachtet werden: Das zeitliche Ordnen von Ereignissen, das Paraphrasieren von Ereignissen und das Vorhersagen von Ereignissen. Diese Dissertation stellt ein neues Modell vor, das auf einem probabilistischen neuronalen Netz basiert und das die zeitliche Ordnung von Ereignissen und Paraphrasen eines Ereignisses aus einem auf Crowdsourcing basierten Skript-Corpus und aus dem Gigaword-News-Corpus lernt. Das Modell übertrifft aktuelle Graph-basierte und Kookkurrenz-basierte Modelle. Zusätzlich zum Ordnen von Ereignissen und der Paraphrasenerkennung solcher, sollte ein System, welches Skriptwissen modelliert, ein bevorstehendes Ereignis in einem Skript vorhersagen können. Wir präsentieren eine Erweiterung des Modells zum Ordnen von Ereignissen für deren Vorhersage. Experimente auf einem Corpus von Filmzusammenfassungen zeigen die Vorteile unseres Modells zur Vorhersage von Ereignissen im Vergleich mit aktuell existierenden Methoden, die auf Vorkommenshäufigkeiten basieren. Die Modellierung und das automatische Verstehen von narrativen Geschichten in aktuellen Korpora erfordern die Vermischung von Skripten unterschiedlicher Szenarien. Solche Narrative enthalten ein Zusammenspiel verschiedener Szenarios und erschweren es daher, den Einfluss von Skriptwissen basierend auf einem einzelnen Szenario zu erforschen. Um dieses Problem zu beheben und den Einfluss von Skriptwissen zu messen, wird in dieser Dissertation das InScript-Korpus vorgestellt. InScript ist eine auf Crowdsourcing basierte Sammlung von Geschichten, von denen jede von einem speziellen Skriptszenario handelt. Das Korpus wurde manuell mit skriptspezifischen Ereignistypen, Partizipantentypen und Koreferenzinformation annotiert. Intuitiv sollte Skriptwissen auch das Sprachverstehen beeinflussen. Diese Dissertation leistet einen Beitrag zur grundlegenden Erforschung des Einflusses von Skriptwissen auf das Sprachverstehen. Wir stellen Modelle zur Überprüfung des Einflusses von Skriptwissen auf die Vorhersage von Diskursreferenten vor. Wir erschließen, basierend auf mehreren Experimenten, dass Skriptwissen einen substantiellen Einfluss auf die Vorhersage des textuell bevorstehenden Diskursreferenten hat. Auf Grundlage dessen sind wir also imstande, empirisch zu belegen, dass Skriptwissen eine signifikante Rolle für das Sprachverstehen spielt