Reconnaissance des gestes de la main pour la compréhension de la parole

Abstract

La reconnaissance des gestes de la main est devenue un domaine clé dans l’interaction homme- machine, avec des applications dans les technologies d’assistance, la réalité virtuelle et l’interprétation de la langue des signes. Cette thèse explore une approche bimodale combinant la reconnaissance vocale et gestuelle afin d’améliorer la communication, notamment pour les personnes malenten- dantes. L’étude met l’accent sur l’intégration des gestes co-verbaux avec le traitement de la parole, en s’appuyant sur des techniques d’apprentissage profond pour améliorer la précision de reconnais- sance. L’un des principaux apports de ce travail est le développement d’un jeu de données multimodal contenant des enregistrements de la langue arabe et des gestes de la main dynamiques, captés dans des conditions réelles. Des modèles avancés d’apprentissage automatique, tels que les réseaux de neurones convolutifs (CNN) et les machines à vecteurs de support (SVM), ont été utilisés pour classifier les gestes et les schémas vocaux. Un nouveau descripteur, le Modified Local Optimal- Oriented Pattern (Mi-LOOP), est proposé pour améliorer l’extraction des caractéristiques dans la reconnaissance gestuelle. Les résultats expérimentaux montrent l’efficacité de l’approche proposée pour reconnaître les corrélations entre la parole et les gestes, améliorant ainsi considérablement l’accessibilité à la com- munication pour les personnes malentendantes. Ces travaux contribuent également au domaine plus large de l’interaction multimodale, ouvrant la voie à des interfaces homme-machine plus intuitives et adaptatives.