Codage sémantique d’actions par traitement d’images RGB-D pour l’interaction homme-scène

Abstract

Ce travail vise à développer un système offrant l’accessibilité des performances théâtrales pour les personnes aveugles et malvoyantes, en traduisant les informations visuelles des gestes corporels des acteurs en un format accessible non visuel. Cela implique l’exploi- tation de techniques d’apprentissage automatique et d’apprentissage profond pour la re- connaissance d’actions humaines en temps réel. Ensuite, en se basant sur les principes de l’interaction homme-machine, un système de correspondance est conçu pour transmettre les actions reconnues aux spectateurs aveugles et malvoyants, dans le cadre de l’interaction homme-scène, leur offrant ainsi une expérience immersive. Le système de reconnaissance d’actions humaines proposé traite les données de profon- deur RGB-D, notamment les séquences de squelettes 3D acquises à l’aide d’un capteur de profondeur. Les séquences squelettes 3D sont traitées par une architecture de réseau de neurones convolutifs en graphes : ST-GCN (Spatio-Temporal Graph Convolution Net- work), afin d’extraire les informations necessaires pour reconnaitres l’action en cours. Ce système est aussi conçu pour fonctionner en temps réel en détectant les transitions entre différentes actions dans une vidéo en streaming. En outre, des séquences d’actions humaines ont été collectées dans un environnement théâtral afin d’évaluer l’architecture ST-GCN et d’améliorer davantage ses performances à l’aide de la technique d’apprentis- sage par transfert. Ensuite, une étude qualitative a été menée auprès de huit personnes aveugles et mal- voyantes afin de mieux comprendre leurs expériences avec les gestes humains, dans le but de collecter des données guidant le développement d’un système traduisant les gestes en format non visuel. Sur la base des enseignements tirés de cette étude et de la littérature, un système de représentation haptique, Hapstick-Figure, a été conçu pour transmettre les informations gestuelles via une surface tactile. Le prototype Hapstick-Figure, imprimé en 3D, a ensuite été évalué à travers des entretiens avec six participants aveugles et mal- voyants, recueillant leurs retours et leur engagement vis-à-vis du dispositif. Les résultats ont confirmé l’efficacité de la représentation haptique, tout en identifiant des axes d’amé- lioration.