Nautilus ::real-time interaction between dancers and augmented reality with pixel-cloud avatars

Real-time interaction with augmented reality is a novel material for dancers and choreographers to work with on stage. Rather than focusing on a perfect synchronization between dance and music, it allows the dancers to affect their audiovisual environment and react to the change. In this paper, we report the process and outcome of a col-laborative effort between art and technology that has explored this new material and resulted in the dance performance Nautilus. We suggest an interaction method based on a depth sensor and pixel-cloud avatars that allows the dancers to interact reliably with an augmented reality while moving freely on stage.L'interaction en temps réel avec la réalité augmentée re-présente un nouveau matériel avec lequel les danseurs et chorégraphes peuvent travailler pour leurs spectacles. Cela permet aux danseurs d'aller au-delà de la seule syn-chronisation entre musique et mouvement et amène de nouvelles opportunités comme modifier l'environnement audio-visuel et de réagir à ses changements. Dans cet article, nous présentons le processus et le résultat d'un travail collaboratif entre art et technologie, lequel a per- mis d’explorer ce nouveau matériel dans le cadre du spec- tacle Nautilus. Nous suggérons une approche basée sur le tracking des corps par caméra 3D et sur des avatars com- posés de nuages de pixels ; cette approche permet aux danseurs d’interagir de manière fiable avec la réalité augmentée en gardant la liberté de mouvements