Projet de recherche SignCom
Le projet SignCom vise à améliorer la qualité de l’interaction en temps réel entre humains et avatars virtuels, en exploitant des modalités de communication naturelles telles que les gestes, les expressions faciales et la direction du regard. Ainsi, les personnages réel et virtuel peuvent établir un dialogue en langue des signes française (LSF), langue visuo-gestuelle fortement structurée et codée. Les résultats de cette recherche seront valorisés par la création d’interfaces intelligentes et expressives pour des personnes utilisant les langues des signes. Le site du projet présente plus en détail les enjeux du projet.
Mes contributions
- Analyse des patrons gestuels des mouvements de la Langue des Signes Française
- Création de scénarios d’interactions entre un agent virtuel signant et un signeur réel
- Conception et réalisation d’une base de de données de vidéos pour alimenter l’agent conversationnel
- Implémentation de l’Agent Virtuel
- Test du prototype avec des sujets sourds et entendants
- Analyse et propositions d’améliorations du prototype
Compétences mobilisées
- La conception des interfaces, des cas d’usages, des scénarios d’interaction et des bases de données a été formalisée à l’aide d’UML.
- La base de données de vidéo a été traité grâce à des algorithmes de Traitement d’Images développés en C++ et recourant à la librairie OpenCV.
- Les interfaces ont été développées pour MacOSX en Objective C++ avec Cocoa.