Tabletop Interaction Beyond Touch

Interactive or digital tabletops are table-like embedded computing systems, which provide a large unified display and input surface. Touch input and tangible artifacts on the tabletop surface represent the most prominent, thus, most often implemented input mechanisms. However, digital tabletops provide much more potential for interaction techniques (e.g., multimodal input or cross-surface interaction). If designers or developers attempt to exploit the full potential of digital tabletops for interactions, they encounter the immediate problem that acquiring an overview of interaction possibilities afforded by digital tabletops can be quite laborious. Without sufficient experiences with digital tabletop technologies, it is further difficult to assess limitations and applicability of different interaction techniques in relation to tabletop technologies. This dissertation addresses this problem by providing and discussing a comprehensible design space for tabletop interaction beyond sole touch input. The design space begins with interaction techniques that happen spatially on a touch sensor surface and extends to interaction techniques that are spatially located above and around a digital tabletop. Finally, the design space considers cross-surface interactions that involve multiple surface-based devices in so-called multi-surface environments. In each of the areas of the design space, we identified research problems for which this dissertation provides research contributions to advance the field of tabletop interaction. First, we provide algorithms and empirical evaluations for recognition approaches to determine finger orientations and hand distinctions through information extracted from touch contact areas. Second, we present an implementation approach to realize embodied interaction with active actuated tangible artifacts mediated through digital tabletops. And finally, we contribute the design and implementation of a reference multi-surface framework called Environs that lay the foundation for enabling cross-surface interactions in multi-surface environments. The framework addresses in particular heterogeneous device ecologies and further enable implementation of low-latency video-based interactive applications, so-called interactive portals, between multiple surface-based devices. In order to foster research and developments of such interactions in multi-surface environments, we provided the reference implementation as open-source software online at http://www.hcm-lab.de/environs.Interaktive oder digitale Tabletops sind eingebettete Computersysteme in Form von Tischen, welche sich durch eine große einheitliche Darstellungs- und Eingabeoberfläche auszeichnen. Bei diesen Systemen stellen Toucheingaben und Eingaben durch Gegenstände auf der Tabletopoberfläche die bekannteste und daher auch am häufigsten angebotene Eingabemethode dar. Jedoch ist das Potential digitaler Tabletops für die Realisierung von Bedienungstechniken wesentlich größer. Beim Versuch, das volle Potential auszunutzen, werden Designer oder Entwickler allerdings sehr schnell feststellen, dass es sehr aufwändig und mühsam ist, sich einen umfassenden Überblick über die Möglichkeiten digitaler Tabletops zur Realisierung von Bedienungstechniken zu verschaffen. Ohne ausreichende Erfahrungen mit dieser Technologie ist es zudem nicht klar, wie die Anwendbarkeit und mögliche Limitierungen einzelner Bedienungstechniken in Bezug zu den verschiedenen Tabletoptechnologien einzuschätzen ist. Die vorliegende Dissertation nimmt sich dieser Problematik an und adressiert diese durch einen Design-Space für Bedienungsmöglichkeiten, welche über einfache Toucheingaben hinaus geht. Dieser Design-Space umfasst Bedienungstechniken, welche räumlich auf der Tabletopoberfläche stattfinden und erstreckt sich dann über Bedienungstechniken, welche räumlich über oder um den Tabletop herum erfolgen. Abschließend bezieht der Design-Space Bedienungstechniken ein, welche sich über mehrere Geräteoberflächen spannen und daher mehrere Geräte involvieren. Solche Bedienungstechniken finden in sogenannten Multi-Surface Umgebungen statt. In jedem der Bereiche des Design-Spaces identifizierten wir weiterhin forschungsrelevante Probleme, für welche wir Forschungsbeiträge bereitstellen, um die Forschung im Bereich von Tabletop-Bedienungstechniken voranzubringen. Als Erstes tragen wir Algorithmen und zugehörige empirische Evaluationen zu Erkennungsverfahren bei, um Fingerorientierungen und Handunterscheidungen zu bestimmen, welche lediglich aus Touchkontaktflächen gewonnen werden. Anschließend zeigen wir einen Implementierungsansatz auf, um mittels digitalen Tabletops körperbasierte Interaktionen mit aktiven sich bewegenden greifbaren Gegenständen zu realisieren. Der letzte und größte Beitrag behandelt die Referenz-Implementierung des Multi-Surface Frameworks Environs, welches eine Grundlage zur Realisierung von sogenannte Cross-Surface Bedienungstechniken in Multi-Surface Umgebungen bietet. Das Framework unterstützt insbesondere heterogene Gerätelandschaften und ermöglicht die Implementierung von videobasierten interaktiven Anwendungen mit geringer Latenz zwischen mehreren Touchscreengeräten. Um die Forschung und Entwicklung solcher Bedienungstechniken in Multi-Surface Umgebungen zu fördern, wurde Environs als Open-Source Software der Öffentlichkeit online bereitgestellt unter http://www.hcm-lab.de/environs