Estimation de l'aire d'ouverture de la bouche à partir d'information acoustique du signal de parole en utilisant des techniques de déconvolution aveugle

International audienceDans cet article, nous proposons une nouvelle méthode pour l'estimation de l'aire d'ouverture de la bouche à partir d'une séquence vidéo du mouvement des lèvres. Dans cette méthode, nous exploiterons les différents degrés de corrélation entre les enveloppes acoustiques et les mouvements visuels, reporté par Grant et Seitz 2000, pour établir un modèle mathématique d'un système SIMO (Single-Input Multiple-Output), où l'aire d'ouverture de la bouche est le "Single Input" inconnu que nous souhaitons estimer. Les énergies RMS (Root Mean Square) dans les sous-bandes du signal de parole sont les "Multiple Outputs" observables du modèle. Le signal d'entrée inconnu peut être directement estimé en utilisant des techniques existantes de déconvolution aveugle. Les séquences audiovisuelles, utilisées pour les tests d'estimation, ont été enregistrées par une "webcam" ordinaire. La moyenne des coefficients de corrélation qui sont calculés entre les meilleures estimations de l'aire d'ouverture de la bouche et celles mesurées, sur un ensemble de 16 phrases en français, est 0.73