Enaction, interaction multisensorielle : théorie, technologie et expériences pour les arts numériques

This interdisciplinary research lies at the intersection of cognitive sciences, computer science and arts. It addresses issues about perception and understanding of artistic experience with digital technologies. Computer is considered as a powerful creation tool and we question its possible functional role in digital arts. A key component of the response is situated, in our view, in the notion of embodiement. It’s a perception and cognitive aspect that we can not directly approach, because it’s an emerging process which is built during action. In this thesis, four criteria have been identified to describe and evaluate embodiement processes in creative situation (reception or reception-action). These criteria are : 1/ consistency of sensory feedbacks of the technology (for example, coherence between sound and image, or between sound, gesture and image) ; 2/ the nature of the perceived and performed action ; 3/ the cognitive immersion feeling of the participants ; 4/ the evocative power of the sensorimotor situation (perception or/and action).Cette recherche interdisciplinaire se situe à l’intersection des sciences cognitives, de l’informatique et des arts. Nous y traitons de questions relatives à la perception et compréhension d’une expérience artistique dans le contexte de technologies numériques. Nous considérons en effet l’ordinateur comme un outil puissant de création et nous nous posons la question du comment son rôle peut être fonctionnellement introduit dans les arts numériques.Une des clés de la réponse à cette question se situe, à notre sens, dans la notion d’incorporation (embodiement, en anglais). Il s’agit d’un aspect de la perception et de la cognition humaine que nous ne pouvons pas approcher de manière directe, car il s’agit d’un processus émergent qui se construit avec l’action. Dans cette thèse, nous avons fait émerger quatre critères pour qualifier puis tenter d’évaluer les processus d’incorporation en situation créative, soit de réception, soit de réception et d’action. Ces critères sont : 1/ la cohérence des retours sensoriels proposée par le système technologique, par exemple la cohérence entre le son et l’image ou entre le son, le geste et l’image ; 2/ la nature de l’action telle que perçue et effectuée ; 3/ la sensation d’immersion cognitive des participants et 4/ le potentiel évocateur de la situation sensori-motrice proposée à la perception et/ou à l’action