Reconnaissance des gestes de la main en temps réel - conversion de la langue des signes en voix

L'objectif principal du projet est de mettre en place un système en temps réel qui convertit les gestes de la main issus de la langue des signes américaine (ASL) en signaux vocaux. Ce système pourrait être utilisé par les personnes souffrant de troubles de la parole pour communiquer avec d'autres personnes. À cette fin, un électromyogramme de surface (EMG), qui mesure l'activité électrique des muscles de l'avant-bras, et un accéléromètre, qui mesure l'accélération des mouvements de la main, ont été utilisés. Un dispositif portable de collecte de données appelé Shimmer a été utilisé pour enregistrer ces signaux provenant de l'utilisateur et transmettre les données collectées à Matlab via Bluetooth. Un algorithme de reconnaissance de formes a été mis en oeuvre dans Matlab pour traiter les signaux et afficher les décisions de sortie en fonction du geste effectué. Plusieurs tests ont été réalisés sur un sujet humain afin d'identifier plusieurs gestes à une ou deux mains permettant de reconnaître divers mots ainsi que des phrases de base en ASL. Les résultats expérimentaux ont été enregistrés et discutés.

Autorentext

Alex Vijay Raj est né à Chennai, en Inde. Il est titulaire d'un master de l'université d'État de San Francisco. Alex est actuellement développeur de logiciels chez Velo Labs, à San Francisco, où il développe des applications Android et des algorithmes de traitement de données. Il s'intéresse principalement aux algorithmes de traitement du signal et à la programmation Android.