Vers l’Alignement des Signaux Écrit et Sonore

Dans cet article, nous rapportons de nouveaux resultats sur la reconnaissance des expressions mathematiques (EMs). Nous abordons cette problematique en considerant l’aspect bimodal de l’information : c’est a dire exploiter a la fois le signal de parole et celui de l’ecriture manuscrite representant la meme EM. Ceci permet de disposer de plus de fiabilite lors d’un traitement automatique , d’autant plus que ces deux modalites s’averent etre tres complementaires. Nous proposons d’aligner les deux modalites grâce a un classifieur de type reseau de neurones et en adoptant un apprentissage original des associations ecrit-audio. Nous avons evalue le systeme propose sur la base bimodale HAMEX d’EMs. Nous avons egalement confronte les resultats obtenus a ceux obtenus par notre precedent systeme et un systeme de reference base uniquement sur l’ecriture seule .