Têtes parlantes audiovisuelles virtuelles : données et modèles articulatoires - applications

International audienceIn the framework of experimental phonetics, our approach to the study of speech production is based on the measurement, the analysis and the modeling of orofacial articulators such as the jaw, the face and the lips, the tongue or the velum. Therefore, we present in this article experimental techniques that allow characterising the shape and movement of speech articulators (static and dynamic MRI, computed tomodensitometry, electromagnetic articulography, video recording). We then describe the linear models of the various organs that we can elaborate from speaker-specific articulatory data. We show that these models, that exhibit a good geometrical resolution, can be controlled from articulatory data with a good temporal resolution and can thus permit the reconstruction of high quality animation of the articulators. These models, that we have integrated in a virtual talking head, can produce augmented audiovisual speech. In this framework, we have assessed the natural tongue reading capabilities of human subjects by means of audiovisual perception tests. We conclude by suggesting a number of other applications of talking heads.Dans le cadre de la phonétique expérimentale, notre approche de l'étude de la production de parole se base sur la mesure, l'analyse, et la modélisation des organes oro-faciaux tels que la mâchoire, le visage et les lèvres, la langue ou le voile du palais. Ainsi, nous présentons dans cet article des techniques expérimentales qui permettent de caractériser la forme et le mouvement des articulateurs de la parole (IRM statique et dynamique, tomodensitographie, articulographie électromagnétique, enregistrements vidéo). Nous décrivons ensuite les modèles linéaires des différents organes dérivés des données articulatoires obtenues sur un locuteur. Nous montrons que ces modèles, qui présentent une bonne résolution géométrique, peuvent être contrôlés à partir de données articulatoires de bonne résolution temporelle et peuvent ainsi permettre de reconstruire des animations d'articulateurs de haute qualité. Ces modèles, que nous avons intégrés dans une tête parlante virtuelle, peuvent servir à produire de la parole audiovisuelle augmentée. Dans ce cadre, nous avons évalué les capacités naturelles de lecture linguale de sujets humains à l'aide de tests perceptifs audiovisuels. Nous concluons par la proposition d'un certain nombre d'autres applications des têtes parlantes