Vers l’Alignement des Signaux Écrit et Sonore: Application pour la reconnaissance des expressions mathématiques

International audienceIn this paper , we report some new results related to mathematical expression recognition. We tackle this problem, known to be very difficult, using multimodal information – handwriting and speech –. This bimodality aspect of the information provides greater reliability since the modalities in concern are very complementary. To combine the signals coming from both modalities in an efficient way , we propose an original learning process based on neural networks. This approach allows not only fusing both streams, but also the alignment of the signals coming from both modalities. The bimodal system is evaluated on real bimodal data fr om the HAMEX dataset and the obtained results are compared to a single modality (handwriting) based system.Dans cet article, nous rapportons de nouveaux résultats sur la reconnaissance des expressions mathématiques (EMs). Nous abordons cette problématique en considérant l’aspect bimodal de l’information : c’est à dire exploiter à la fois le signal de parole et celui de l’écriture manuscrite représentant la même EM. Ceci permet de disposer de plus de fiabilité lors d’un traitement automatique , d’autant plus que ces deux modalités s’avèrent être très complémentaires. Nous proposons d’aligner les deux modalités grâce à un classifieur de type réseau de neurones et en adoptant un apprentissage original des associations écrit-audio. Nous avons évalué le système proposé sur la base bimodale HAMEX d’EMs. Nous avons également confronté les résultats obtenus à ceux obtenus par notre précédent système et un système de référence basé uniquement sur l’écriture seule