Echtzeit-Handgestenerkennung - Umwandlung von Gebärdensprache in Sprache

Das Hauptziel des Projekts ist die Implementierung eines Echtzeitsystems, das Handgesten aus der amerikanischen Gebärdensprache (ASL) in Sprachsignale umwandelt. Dies könnte von Menschen mit Sprachbehinderungen genutzt werden, um mit anderen Menschen zu kommunizieren. Zu diesem Zweck wurden ein Oberflächen-Elektromyogramm (EMG), das die elektrische Aktivität der Unterarmmuskulatur misst, und ein Beschleunigungsmesser, der die Beschleunigung der Handbewegungen misst, verwendet. Ein tragbares Datenerfassungsgerät namens Shimmer wurde verwendet, um diese Signale vom Benutzer aufzuzeichnen und die gesammelten Daten über Bluetooth an Matlab zu übertragen. In Matlab wurde ein Mustererkennungsalgorithmus implementiert, der die Signale verarbeitete und die Ergebnisse basierend auf der ausgeführten Geste anzeigte. Es wurden mehrere Tests an einer Person durchgeführt, um verschiedene ein- und zweihändige Gesten zu identifizieren und verschiedene Wörter sowie einfache Sätze in ASL zu erkennen. Die Versuchsergebnisse wurden aufgezeichnet und diskutiert.

Autorentext

Alex Vijay Raj est né à Chennai, en Inde. Il est titulaire d'un master de l'université d'État de San Francisco. Alex est actuellement développeur de logiciels chez Velo Labs, à San Francisco, où il développe des applications Android et des algorithmes de traitement de données. Il s'intéresse principalement aux algorithmes de traitement du signal et à la programmation Android.