Design and evaluation of a prosody recognition test in german pseudo-language

In der CI-Forschung ist bislang wenig untersucht worden, ob CI-Träger in der Lage sind, mit Hilfe ihrer Implantate Melodie- und Betonungsverläufe in der menschlichen Sprache zu erkennen. Da Cochlea-Implantate ursprünglich mit dem Fokus auf das phonologische Sprachverstehen entwickelt wurden, in den letzten Jahren jedoch technologische Verbesserungen kontinuierlich eingeführt wurden, ist diese Fragestellung besonders interessant. Solche Merkmale der Sprache, die sich in Form von Grundfrequenz- und Lautheitsschwankungen, sowie Sprechtempo- und Rhythmus darstellen, werden als Prosodie bezeichnet. Die menschliche Sprache ist affektiv geprägt und bei intensiven Gemütsregungen sind diese Melodieverläufe bzw. die prosodischen Merkmale besonders deutlich. Daher bietet es sich an, mit emotionaler Sprache zu arbeiten, sie dient als Lieferant für Grundfrequenz- und Intensitätsschwankungen. Im Rahmen psychologischer und linguistischer Untersuchungen sind solcherlei Versuche bereits an normalhörenden Personen durchgeführt worden, allerdings stets auf der Grundlage semantisch-sinntragender Sprache, deren Inhalt bei der Bewertung des Gehörten nicht ohne Einfluss bleibt. Daher wurde in der vorliegenden Arbeit eine künstliche Sprache automatisiert erzeugt, die in der statistischen Struktur ihrer Buchstabenzusammensetzung und Lautfolge der deutschen Sprache ähnelt. Diese Pseudosprache wurde in Form von 44 Sätzen in zehn verschiedenen Emotionen aufgenommen und durch nachträgliche Schneide- und Auswahlarbeiten als abhörbare Audiodateien fertiggestellt. Dabei lagen sie je zur Hälfte als 10- und 15-silbige Sätze vor. Es kamen professionelle digitale Aufnahmegeräte zum Einsatz, deren Aufstellung in Vorversuchen systematisch optimiert wurde. Die Evaluierung der Sätze und die anschließende Auswertung der Ergebnisse geschahen im Rahmen einer Untersuchung mit Probanden ohne Höreinschränkungen, um diesen neuartigen Test zunächst auf seine prinzipielle Anwendbarkeit hin zu prüfen. Die zugrundeliegende Fragestellung war, ob bei normalhörenden Personen ein korrektes Erkennen von Emotionen in der gesprochenen Sprache nachweisbar ist. Durch die Ergebnisse sollten Hinweise auf die Einsatzmöglichkeiten des Tests bei CI-Trägern gewonnen werden. Der Test wurde erst nach Ablauf einer vorgeschalteten Pilotstudie konstruiert. Dadurch konnten Verbesserungsmöglichkeiten im Design und in der Durchführung des Tests vorab erkannt und umgesetzt werden. Die Sätze wurden den Probanden der Hauptgruppe in einem genau festgelegten Schema vorgespielt, der Test war untergliedert in einen offen und einen geschlossen zu beurteilenden Abschnitt. Die Ergebnisse zeigen, dass die Fähigkeit der Probanden zur Erkennung der Emotionen nachweislich vorhanden ist, ohne Unterschied zwischen männlichen und weiblichen Probanden. Dabei wurden sowohl im offenen als auch im geschlossenen Test bestimmte Emotionen (z.B. Gleichgültigkeit, Panik, Trauer) grundsätzlich besser erkannt als andere (z.B. Ekel, Freude, Stolz). Zwei der Emotionen (Ärger, Zorn) erwiesen sich als kaum unterscheidbar, weswegen eine davon herausgenommen werden sollte und somit neun verwendbare Emotionen resultieren. Die Aufsprachen und die Evaluierung der prosodischen Sätze in dieser Arbeit sind Grundsteine für die Erörterung und Durchführung sinnvoller Veränderungen an diesem Prosodieverständnistest, bevor er bei CI-Trägern zur Anwendung kommt. Solche Veränderungen könnten in technischen Verbesserungen bestehen, in der Variation der prosodischen Darstellungsmöglichkeiten von Emotionen, in der Aufsprache durch professionelle Schauspieler oder in der Erweiterung um eine weibliche Sprecherstimme. Das Ziel zukünftiger Arbeiten zu diesem Thema ist es, den vorliegenden Test so weiterzuentwickeln, dass er in der Lage ist, in der CI-Forschung zur Gewinnung neuer Erkenntnisse beizutragen. Im Hinblick auf den weiteren praktischen Einsatz konnten bereits in dieser Arbeit die wichtigsten Voraussetzungen und Anforderungen erfüllt und das Konzept eines klinisch anwendbaren Emotions-Prosodietests erfolgreich umgesetzt werden.In cochlear implant research it has been only marginally investigated, whether CI-users are able to recognize melody contour and accentuation in human speech with their implants. Since cochlear implants have been developed with the focus on phonological speech understanding, yet technological improvements have been continuously introduced, this question is especially interesting. Such properties of speech, that manifest in fundamental frequency and loudness fluctuations as well as speech tempo and rhythm are referred to as prosody. Human speech is affective and at intense emotions these prosodic characteristics are notably distinct. Therefore, working with emotional speech appears suitable, since it serves as a source of fundamental frequency and intensity fluctuations. In the context of psychological and linguistic studies, such tests have already been performed with normal hearing subjects. However, the speech material used was always semantically meaningful, which likely affects the subjects' judgment. Hence, in this thesis artificial, computer-generated language was employed, which replicates German regarding the occurrence probability of letters and letter sequences. 44 pseudo-German sentences, repeatedly spoken in 10 different emotions each, were recorded, cut, selected and prepared as audio files. Half of the sentences consisted of 10, the other half of 15 syllables per sentence. The recording was performed with professional digital recording equipment, where the set-up had been optimized systematically in preceding tests. Evaluation of the sentences and subsequent analysis of results were conducted as a study with normal hearing subjects in order to test the new speech material for its applicability in principle. The underlying question was whether it could be demonstrated that normal hearing subjects were able to correctly recognize the 10 different emotions in speech. Also, indicators regarding the suitability for CI-users were hoped for. The main experiment was designed only after a preceding pilot study. Thus, improvements in the study design and implementation could be identified in advance. The sentences were offered to the main group in a precisely defined scheme. The test was divided into an open and a closed part. Results show statistically significant capabilities of emotion recognition in the test subjects. There was no difference between male and female subjects. In both the open as well as in the closed section, specific emotions (e.g. boredom, panic, grief) were recognized significantly better than others (e.g. disgust, joy, pride). Two of the emotions (anger, rage) could be barely distinguished. Thus, one of the two should be eliminated, leaving nine usable emotions. The recordings and the evaluation of the prosodic sentences are building blocks for the discussion and implementation of necessary changes of this prosody recognition test prior to its application to CI users. Such modifications could consist of technological improvements, variations of the prosodic presentation of emotions or the assignment of professional actors or an additional female speaker. The aim of future work on this topic is to further develop this test in such a way, that it contributes to new insights in CI research. With respect to further practical use, within this thesis some of the most important prerequisites and requirements could be fulfilled and the concept of a clinically applicable prosody test was implemented