Evaluation of Direct Manipulation using Finger Tracking for Complex Tasks in an Immersive Cube

We present a solution for interaction using finger tracking in a cubic immersive virtual reality system (or immersive cube). Rather than using a traditional wand device, users can manipulate objects with fingers of both hands in a close-to-natural manner for moderately complex, general purpose tasks. Our solution couples finger tracking with a real-time physics engine, combined with a heuristic approach for hand manipulation, which is robust to tracker noise and simulation instabilities. We performed an exploratory study to evaluate our interface, with tasks involving complex manipulations, such as balancing objects while walking in the cube. The user's finger-tracked manipulation was compared to manipulation with a 6-DOF wand (or flystick), as well as with carrying out the same task in the real world. Users were also asked to perform a free task, allowing us to observe their perceived level of presence in the scene. Our results show that our approach provides a feasible interface for immersive cube environments and is perceived by users as being closer to the real experience compared to the wand. However, the wand outperforms direct manipulation in terms of speed and precision. We conclude with a discussion of the results and implications for further research. This project has been submitted to Virtual Reality journal in March 2013.Nous présentons une solution permettant d'interagir dans un système de réalité virtuelle de type cube immersif grâce au tracking des doigts. Plutôt que d'utiliser une manette traditionnelle, les utilisateurs peuvent manipuler les objets avec les doigts de façon quasi naturelle et ce pour des tâches générales modérément complexes. Notre solution associe le finger tracking à un moteur physique temps réel, ceci combiné à une approche heuristique de la manipulation manuelle qui est robuste aux signaux bruités des trackers et aux instabilités de simulation. Nous avons effectué une étude exploratoire afin d'évaluer notre interface. Elle comporte des tâches impliquant des manipulations complexes telles que tenir des objets en équilibre en même temps que l'on marche dans le cube. La manipulation avec finger tracking a été comparée à la manipulation avec une manette à 6 degrés de liberté, ainsi qu'à l'exécution de la tâche en condition réelle. Les utilisateurs ont également dû effectuer une tâche avec quasiment aucune instruction afin que nous puissions évaluer leur sensation de présence dans la scène. Nos résultats montrent que notre approche fournit une interface appropriée pour les cubes immersifs tout en étant perçue par les utilisateurs comme plus proche de l'expérience réelle qu'avec la manette. Cependant, la manette dépasse les capacités de la manipulation directe en termes de rapidité et de précision. Nous concluons par une discussion des résultats et des implications pour les prochains travaux de recherche. Ce projet a été soumis au journal Virtual Reality en mars 2013