Preference versus Performance in Automated Driving: A Challenge for Method Development

Das automatisierte Fahren hat bereits den Weg auf den kommerziellen Markt geschafft und weiterer Fortschritt kann in naher Zukunft erwartet werden. Das Level 3 des automatisierten Fahrens verspricht steigende Sicherheit, Komfort und Verkehrseffizienz. Für den menschlichen Fahrer sind diese Funktionen und damit einhergehende Nutzerschnittstellen eine neuartige Technologie. Im Bereich Human Factors stehen Forschung und Entwicklung vor zwei Herausforderungen, welche (1) der Entwurf von intuitiven und einfach bedienbaren Nutzerschnittstellen und (2) die Entwicklung von Methoden zur Bewertung ebendieser sind. Bei der Bewertung von Technologie wurde bereits häufig auf die sogenannte Preference-Performance Dissoziation aufmerksam gemacht. Diese beschreibt das Ergebnis von Nutzerstudien, in denen die Präferenz (Selbstbericht) der Nutzer nicht mit deren Leistung (beobachtbares Verhalten) übereinstimmt. Dieses Phänomen stellt eine Gefährdung für die Bewertung von Nutzerschnittstellen beim automatisierten Fahren dar. Aufgrund dessen berichtet die vorliegende Dissertation zunächst Untersuchungen zur Messbarmachung von Präferenz und Leistung. Zudem wurde das Verständnis von automatisierten Systemen (mentales Modell) als ein wichtiger Einflussfaktor zur Entstehung des beobachtbaren Verhaltens angenommen und mit in die Arbeiten eingeschlossen. Mithilfe der gewonnenen Erkenntnisse der Messbarmachung widmete sich der zweite Teil der Dissertation den Faktoren, die einen Einfluss auf das Entstehen von Präferenz und/oder Leistung ausüben. Untersuchte Faktoren waren die Anzahl an Wiederholungen von Anwendungsfällen, Rückmeldung zur Bedienleistung, Nutzerschulung und eine statistische post-hoc Analyse. Um die Ziele der Messbarmachung und Einflussnahme zu erreichen wurden drei Fahrsimulatorstudien mit insgesamt N=225 Probanden durchgeführt. Die Haupterkenntnisse waren (1) die Entwicklung einer differenzierten Empfehlung von Fragebögen zur Erfassung der Nutzerpräferenz. Außerdem (2) wurden Erkenntnisse der Entwicklung von Verhaltensmaßen über die Zeit sowie deren Zusammenhang zu Präferenzmaßen gewonnen. Betreffend der mentalen Modelle (3) zeigte die vorliegende Arbeit, dass es wiederholter Interaktion bedarf, damit diese sich korrekt entwickeln. Außerdem kann das Verständnis durch Blickverhaltensmaße erfasst werden. Zusätzlich (4) zeigte sich, dass Leistungsrückmeldung Präferenz, nicht aber Leistung selbst beeinflussen kann. Im Gegensatz dazu (5) wirkt sich Nutzerschulung positiv auf die Korrektheit mentaler Modelle und nachfolgend der Nutzerleistung selbst aus, lässt aber Präferenzmaße unbeeinflusst. Abschließend zeigte sich, dass (6) Nutzer verschiedener Leistungsstufen ähnliche Präferenzurteile fällen. Der theoretische Beitrag der vorliegenden Arbeit liegt in den Einblicken in die Entstehung der beiden Datenquellen der Preference-Performance Dissoziation wodurch diese erklärt und vorhergesagt werden kann. Der praktische Beitrag liegt in der Anwendung der Arbeit zur Messbarmachung von Variablen und Empfehlung zum Studiendesign hinsichtlich Anzahl an Messwiederholungen und Nutzerschulung. Abschließend betreffen die hier gewonnenen Erkenntnisse nicht nur die Bewertung von Nutzerschnittstellen beim automatisierten Fahren, sondern können auch auf andere Automationsbereiche der Mensch-Maschine Interaktion wie beispielsweise Luftfahrt, Robotik oder Medizintechnik übertragen werden.Driving automation systems have already entered the commercial market and further advancements will be introduced in the near future. Level 3 automated driving systems are expected to increase safety, comfort and traffic efficiency. For the human driver, these functions and according human-machine interfaces are a novel technology. In the human factors domain, research and development faces two challenges which are (1) the conceptualization of intuitive and easy to use interfaces and (2) the development of a methodological framework to evaluate these interfaces. In technology evaluation, a methodological phenomenon has frequently been reported which is called the preference-performance dissociation. It describes the outcome of studies where users' preference (i.e., self-report) does not match their performance (i.e., interaction behavior). This phenomenon poses a threat to the evaluation of automated vehicle HMIs. Therefore, the present thesis first reports investigations on how to operationalize both performance and preference. Moreover, the understanding (i.e., mental model) of automated vehicle HMIs was hypothesized as an influential precursor of performance and included in the present work. Using the insights of the operationalization part, the second part of the thesis aimed at finding out about factors that exert influence on preference and/or performance. Investigated factors were the number of use case repetitions, feedback on operator performance, user education and a post-hoc statistical analysis. To reach the operationalization and variation aims, three driving simulator studies with a total of N=225 participants were conducted. The main outcomes were that (1) a sophisticated recommendation regarding preference questionnaire application could be given. Furthermore, (2) insights into the development of behavioral measures over time and their relation to a satisfaction measure could be given. Concerning mental models, (3) the present work showed that it takes repeated interaction to evolve accurately and gaze measures could also be used for capturing these processes. In addition, (4) feedback on operator performance was found to influence preference but not performance while (5) user education increased understanding and subsequent performance but did not affect preference. Eventually it showed that (6) users of different performance levels report similar preference. The theoretical contribution of this work lies in insights into the formation of the two sources of data and its potential to both explain and predict the preference-performance dissociation. The practical contribution lies in the recommendation for research methodology regarding how to operationalize measures and how to design user studies concerning the number of use cases and user education approaches. Finally, the results gained herein do not only apply to automated vehicle HMIs but might also be generalized to related domains such as aviation, robotics or health care