Interaction multimodale oro-gestuelle personne libre (application à l'interaction multi-utilisateur avec de grands écrans)

Cette thèse propose de concevoir et d'étudier une interface multimodale permettant d'interagir à la voix et au geste avec un grand écran. Pour la reconnaissance de geste, la tête et les mains d'un utilisateur sont détectées et suivies en temps réel à partir d'une caméra stéréo. Chaque partie du corps a un modèle statistique dont les paramètres sont estimés à chaque nouvelle image par l'algorithme Expectation Maximisation. Le suivi permet de reconnaître des gestes de pointage, de sélection et des gestes bi-manuels simples (rotation, redimensionnement). Pour la parole, une brique de reconnaissance multi-locuteur déjà disponible a été utilisée. Dans un premier temps, la fusion du geste et de la parole permet d'obtenir une souris "oro-gestuelle" sans contact permettant d'interfacer la plupart des applications. Dans une version plus avancée, la prise en compte du contexte de l'application lors de la fusion permet des commandes multimodales plus intuitives.GRENOBLE1-BU Sciences (384212103) / SudocNANCY-INRIA Lorraine LORIA (545472304) / SudocSudocFranceF