The interactive nature of second-language word learning in non-instructed environments

Gaining the command of a second language is a difficult task for an adult. Understanding and learning novel words is challenging, particularly in non-instructed situations: Words are often parts of complex linguistic contexts and potential referents are embedded in rich visual scenes. To overcome this challenge learners can potentially exploit the richness of their multi-modal environment through a range of different word-learning mechanisms and based on automatic sentence-processing mechanisms.Despite numerous investigations of word learning by researchers from a range of disciplines, few have examined the interplay of different learning and processing mechanisms. Such an approach, however, potentially both oversimplifies and overcomplicates the scenario. The main goal of this thesis is to study word learning in adults in a more situated and interactive manner, considering different mechanisms, processes, and information sources in parallel. This enterprise is driven by the motivation to contribute to a more complete theory of second-language word learning, to bridge research traditions, and to draw implications for the development of practical learning applications. In particular, we examined the interaction of the two important and visually situated word-learning mechanisms, cross-situational word learning (CSWL, Yu & Smith, 2007) and sentence-level constraint learning (SLCL). CSWL is a bottom-up, associative manner of word learning: people make connections between visual objects and spoken words by tracking their co-occurrence frequencies. SLCL, on the contrary, is a top-down strategy, which is based on making inferences about likely word meanings given a linguistic context (and word knowledge). SLCL in this thesis refers to inferring the meanings of object nouns (e.g., the corn) based on restrictive verbs (e.g., eat), a visual context, and people\u27s world knowledge. Our studies exploit a novel experimental paradigm which integrates teaching German adults a semi-natural miniature language in a step-wise procedure. Participants were familiarized with a set of verbs (e.g., bermamema "to eat\u27;) before they were exposed to noun-learning trials. These trials consisted of pairs of visual scenes and auditory transitive sentences, in which novel nouns were embedded (e.g. Si laki bermamema si sonis.}, "The man will eat the corn\u27;). Finally, participants performed a forced-choice vocabulary test (with confidence ratings). Eye-movements were recorded during learning and testing. In Experiment 1, we evaluated the use of CSWL and SLCL in this naturalized situation. We found that participants applied both mechanisms in a complementary manner to learn the vocabulary. In Experiment 2, we introduced a second word order (OVS), which is characterized by a verb which follows rather than precedes the syntactic object (that denotes a visual object). Results are in accordance with the hypothesis that verb-based prediction of referents has a positive influence on noun learning. In Experiment 3, we re-addressed the question whether SLCL boosts noun learning and examined the interaction of CSWL and SLCL by manipulating the degree of referential uncertainty. Results provide evidence for the hypotheses that, firstly, SLCL boosts noun learning and secondly, SLCL and CSWL interact in that they jointly contribute to the identification of noun meanings. Experiment 4 was conducted in order to investigate the interaction of CSWL and SLCL when both mechanisms are in conflict. Learning rates clearly reveal that CSWL and SLCL were similarly influential with regard to learners\u27 decisions in the vocabulary test. The aim of Experiment 5 was to examine the nature of both mechanisms by studying the interaction of CSWL and SLCL when both are independently applicable. Results clearly provide evidence for the hypothesis that SLCL completely blocks learner\u27s sensitivity to smaller difference in co-occurrence frequencies, which characterizes pure CSWL learning. This pattern confirms the hypothesis that while CSWL is a parallel and probabilistic way of learning, SLCL is more deterministic. Results from a vocabulary test one day after learning reveal that learning rates were still clearly above chance.Taken together, our experimental data clearly shows that CSWL and SLCL are powerful mechanisms for word learning in adults in non-instructed environments, which may lead into long-lasting retention. Importantly, these mechanisms interact in multiple ways due to differences in their nature: They can be used in a complementary way, they influence word learning about equally strongly when they are in conflict, and SLCL blocks CSWL when both mechanisms are independently applicable. We conclude that adult word learners employ as many resources in parallel as necessary but ignore the less direct and helpful cue when information is redundant. However, when the relevance of different cues is unclear, they consider all of them.Eine zweite Sprache zu erlernen, ist eine schwierige Aufgabe für Erwachsene. Das Verstehen und Lernen unbekannter Wörter ist mühsam, insbesondere in nicht-instruierten Situationen. Um dies zu überwinden, haben Lerner jedoch die Möglichkeit, die Reichhaltigkeit ihrer multi-modalen Umgebung zu nutzen und Wortlern-Mechanismen anzuwenden. Automatische Sprach-Verarbeitungs-Mechanismen unterstützen deren zügige Integration. Obwohl viele Wissenschaftler aus diversen Bereichen Studien zum Wortlernen durchgeführt haben, gibt es nur sehr wenige Untersuchungen zum Zusammenspiel verschiedener Wortlern- und Verarbeitungs-Mechanismen. Das Hauptziel dieser Arbeit ist es, Wortlernen bei Erwachsenen in einer stärker integrativen und interaktiven Weise zu erforschen. Hierbei sollen verschiedene Informationsquellen sowie Wortlern-Mechanismen und -Prozesse gleichzeitig berücksichtigt werden. Die Motivation für diese Auseinandersetzung ist es zu einer vollständigeren Theorie des Wortlernens in einer Zweitsprache beizutragen, Forschungstraditionen zu verbinden und Rückschlüsse für die Entwicklung praktischer Lern-Anwendungen zu ziehen. Die Interaktion zweier bedeutender und visuell integrierter Wortlern-Mechanismen wurde untersucht cross-situational word learning (CSWL, Yu and Smith, 2007) und sentence-level constraint learning (SLCL). CSWL funktioniert bottom-up: Lerner ziehen Verbindungen zwischen visuellen Objekten und gesprochenen Wörtern, indem sie die Häufigkeiten ihres gemeinsamen Auftretens (Mit-Auftretens) verfolgen. SLCL vollzieht sich im Gegensatz dazu top-down, denn es folgt dem Grundsatz des Inferierens basierend auf dem linguistischen Kontext. SLCL in dieser Arbeit bezieht sich auf das Inferieren von Objekt-Nomina-Bedeutungen (z.B. der Maiskolben) auf Grund restriktiver Verben (z.B. essen), einem visuellen Kontext, und dem Weltwissen des Lerners. Der Kern unserer Studien ist ein neuartiges experimentelles Paradigma, in dessen Rahmen erwachsenen Deutschen Muttersprachlern in einer stufenweisen Prozedur eine semi-natürliche Mini-Sprache gelehrt wird. Partizipanten wurden zunächst mit einer Reihe Verben vertraut gemacht (z.B. bermamema "essen"), bevor ihnen Materialien zum Nomina-Lernen dargeboten wurden. Die experimentellen Items bestanden aus visuellen Szenen, die mit gesprochenen transitiven Sätzen gepaart waren (z.B. Si laki bermamema si sonis. "Der Mann isst den Maiskolben"). Am Ende des Experiments wurde ein selektiver Vokabeltest (mit Konfidenz-Selbst-Wertung) durchgeführt. Die Augenbewegungen wurden aufgezeichnet. In Experiment 1 wurde der Gebrauch von CSWL und SLCL in diesem Paradigma evaluiert. Die Teilnehmer wendeten beide Mechanismen komplementär an. In Experiment 2 wurde eine zweite Wortreihenfolge eingeführt (OVS). Die gewonnen Resultate stimmen mit der Hypothese überein, dass die Verb-basierte Vorhersage von Referenten einen positiven Einfluss auf das Wortlernen. In Experiment 3 gingen wir der Frage nach, ob SLCL Nomina-Lernen verstärkt und wendeten uns der Interaktion von CSWL und SLCL zu. Die Ergebnisse liefern Evidenz dafür, dass SLCL das Erlernen von Nomina verstärkt und, dass CSWL und SLCL gemeinsam zu der Identifizierung von Nomina-Bedeutungen verhelfen. Experiment 4 wurde durchgeführt um die Interaktion von CSWL und SLCL zu erforschen, wenn beide Mechanismen konfligieren. CSWL und SLCL hatten einen gleich starken Einfluss. Das Ziel von Experiment 5 war es, der Beschaffenheit von CSWL und SLCL auf den Grund zu gehen, indem sie als voneinander unabhängig erforscht wurden. Die Ergebnisse belegen, dass SLCL die Sensibilität für kleinere Unterschiede in der Mit-Auftretens-Wahrscheninlichkeit blockiert, durch welche reines CSWL-Lernen gekennzeichnet ist. Dieses Muster bestätigt die Hypothesen, dass CSWL parallel und probabilistisch verläuft, während sich SLCL eher deterministisch vollzieht. Die Resultate von einem Vokabeltest einen Tag nach der Lernprozedur zeigen, dass die Lernraten noch immer gut waren. Zusammengenommen belegen unsere experimentellen Daten eindeutig, dass CSWL und SLCL wirkungsstarke Mechanismen für das Wortlernen bei sind, welche wahrscheinlich langfristige Lernerfolge nach sich ziehen. Auf Grund ihrer unterschiedlichen Beschaffenheit interagieren diese Mechanismen in vielerlei Hinsichten: Sie können komplementär angewendet werden, ihr Einfluss auf das Erlernen eines Wortes ist ungefähr gleich groß, wenn sie konfligieren und SLCL blockiert CSWL in Fällen, wenn beide Mechanismen unabhängig voneinander angewendet werden können. Wir ziehen die Schlussfolgerung, dass erwachsene Wortlerner einer effizienten Strategie folgen: Sie machen von so vielen Ressourcen wie notwendig parallel Gebrauch, ignorieren aber weniger direkte und hilfreiche Hinweise, wenn redundante Informationen zur Verfügung stehen. Ist die Relevanz verschiedener Hinweise jedoch unklar, so berücksichtigen sie jede dieser Informationsquellen