Prospective design of touchless interaction – using the example of large wall displays

Der enorme technologische Fortschritt im Bereich der Displaysysteme hat gerade im letzten Jahrzehnt in verschiedensten Arbeitsfeldern zu einer stetigen Zunahme von immer größeren Displays bis hin zu so genannten Large Wall Displays geführt. Da aufgrund der Größe der Displays und teils größeren Interaktionsdistanz zu ihnen eine direkte Berührung oft nicht mehr möglich bzw. schwierig ist, stellt sich die Frage, wie eine berührungslose Eingabe aus nutzerzentrierter Sicht für diesen Bereich gestaltet werden sollte. Ziel der vorliegenden Arbeit ist es zu analysieren und evaluieren, welche Eingabemodalitäten (des Menschen) sich für eine berührungslose Interaktion eignen, wie diese aus nutzerzentrierter Sicht im Einzelnen gestaltet sein sollten und welche Vor- und Nachteile die verschiedenen Eingabemodalitäten in einem direkten Vergleich zueinander aufweisen. In einem ersten Schritt wurden im theoretischen Teil die Anwendungsfelder von Large Wall Displays analysiert und daraus grundlegende Interaktionsaufgaben identifiziert: auswählen, positionieren, orientieren und quantifizieren. Daraufhin wurde in einem zweiten Schritt analysiert, welche Modalitäten einem Menschen überhaupt erst eine berührungslose Eingabe ermöglichen und welche sich von diesen zur Bewältigung der zuvor identifizierten Interaktionsaufgaben eignen. Es zeigte sich, dass die drei Eingabemodalitäten (a) Zeigen in Kombination mit Sprache, (b) Blick in Kombination mit Sprache und (c) manipulative Gestik hierfür das größte Potential besitzen. Diese wurden im experimentellen Teil der Arbeit in insgesamt sechs Experimenten ausführlich evaluiert. Als zusätzlicher Faktor wurde die Interaktionsdistanz (nah vs. fern) in die Untersuchungen mit einbezogen. In Experimentalphase I wurde untersucht, wie bei der jeweiligen Eingabe (Zeigen & Sprache, Blick & Sprache, manipulative Gestik) die Ausführung einer Aktion gestaltet sein sollte, d. h. welches Sprachkommando bzw. welche Gesten von Nutzern präferiert werden. Sowohl bei Zeigen & Sprache als auch bei Blick & Sprache wurden kurze Kommandos bevorzugt. Bei manipulativer Gestik wurde die Geste AirTap im Vergleich zu den Gesten ThumbTrigger und FistGrab bevorzugt. In Experimentalphase II wurde untersucht, welches Positionsfeedback (kein Feedback, diskretes Feedback, kontinuierliches Feedback) für welche Eingabe am effizientesten ist. Bei Zeigen & Sprache führte ein kontinuierliches Feedback bei der Auswahl von Objekten sowohl zu einer schnelleren Aufgabendurchführung als auch zu weniger Fehlern als ein diskretes Feedback oder kein Feedback. Zudem wurde es sowohl als weniger beanspruchend als auch als sicherer empfunden und von den Teilnehmern präferiert. Bei Blick & Sprache waren die Ergebnisse weniger eindeutig. Hier zeigte sich lediglich, dass mit einem kontinuierlichen Feedback bei der Auswahl von Objekten mehr Zeit benötigt wird als mit einem diskreten Feedback oder ohne Feedback und dass mit einem kontinuierlichen Feedback mehr Fehler begangen werden. In Experimentalphase III wurden abschließend Zeigen & Sprache, Blick & Sprache und manipulative Gestik zur Eingabe miteinander verglichen. Dabei erzielte Zeigen & Sprache sowohl in Bezug auf die Effektivität als auch die Effizienz und die Zufriedenstellung die besten Ergebnisse. Bezüglich Blick & Sprache und manipulative Gestik zeigte sich zudem deutlich, dass sich mit der hier verwendeten manipulativen Gestik Objekte präziser und schneller lokalisieren lassen als mit Blick & Sprache. In Bezug auf die Distanz deuten die Ergebnisse der sechs durchgeführten Experimente darauf hin, dass es keinen Unterschied zu machen scheint, ob die Interaktionsdistanz nah oder fern ist. Gesamt gesehen zeigen die Ergebnisse, dass sich aus Nutzersicht alle drei hier untersuchten Eingabemodalitäten zur berührungslosen Interkation eignen, wenn auch unterschiedlich gut. Wobei mit der Eingabe Zeigen & Sprache insgesamt die besten Ergebnisse erzielt wurden.Over the last decade the enormous technological progress in the field of display systems has led to a steady increase of display size (up to so called Large Wall Displays) in a wide range of work environments. Due to the size of the displays and the increased distance between the user and the display, touch is often no longer possible or difficult to be used as input. From a user-centered perspective the question arises how a touchless input should be designed for these types of displays. The aim of this thesis was to analyse and evaluate which input modalities are suitable for touchless interaction, how they should be designed from a user-centred perspective and which advantages and disadvantages different modalities have in direct comparison to each other. As an initial step the fields of application of Large Wall Displays were analysed and the main basic interaction tasks identified: selecting, positioning, orientating and quantifying. Subsequently I analysed which modalities generally enable humans to interact with the display in a touchless manner and which of these are suitable to accomplish the previously identified tasks. The following three modalities emerged to have the highest potential for touchless input: a) pointing combined with speech, b) gaze combined with speech and c) manipulative gesture. In a total of six experiments these three modalities were evaluated in detail in the experimental phase. The distance between the user and the display (near vs. far) was included as an additional factor in the investigation. The experimental part consisted of the following three phases: Phase one addressed the question of how the execution of an action should be designed for each modality (pointing & speech, gaze & speech, manipulative gestures). This was operationalised by the users’ preference. Short voice commands were preferred for pointing & speech as well as for gaze & speech. For manipulative gestures the gesture AirTap was preferred compared to the gestures ThumbTrigger and FistGrab. Phase two addressed the question of which positioning feedback (no feedback vs. discrete feedback vs. continuous feedback) would be the most efficient for each input modality. For pointing & speech a continuous feedback resulted in a faster task performance and in fewer errors compared to discrete feedback or no feedback during the selection of objects. Additionally the participants reported less mental workload, increased safety and a preference for continuous feedback. For gaze & speech the results were less obvious. The only clear result was reduced performance (i.e. slower task performance, more errors) with continuous feedback compared both to discrete feedback and no feedback. At phase three the input modalities pointing & speech, gaze & speech and manipulative gestures were compared to each other. Here pointing & speech achieved the best results in terms of efficiency, effectiveness as well as satisfaction. Comparing gaze & speech with manipulative gesture, manipulative gesture was more precise for localising objects on a screen than gaze & speech. Considering the interaction distance, the results of all six experiments indicate that there is no difference whether the interaction distance is near or far from the display. In summary the results provide evidence that all three input modalities investigated are suitable for touchless interaction. However, differences exist in regards to efficiency, effectiveness and satisfaction where pointing & speech performed best.DFG, GRK 1013, Prospektive Gestaltung von Mensch-Technik-Interaktion (prometei