print page

Bachelor's Thesis

Recognition of continuous hand gestures using neural networks

Hintergrund

Künstliche neuronale Netze (KNNs) werden heute meist auf leistungsfähigen Rechnern ausgeführt. Es gibt aber auch Anwendungen für KNNs auf leistungsschwachen Mikrocontrollern mit wenig Speicher. Ein Beispiel ist die optische Erkennung von Handgesten mit denen Menschen Geräte steuern. Das kann als kleines, preiswertes Modul realisiert werden, das einen Mikrocontroller und wenige Lichtsensoren enthält, die als eine Art Facettenauge genutzten werden. Aus den gemessenen Lichtstärken erkennt ein vom Mikrocontroller ausgeführtes KNN die Gesten und signalisiert diese anderen Baugruppen über digitale Ausgänge.

Im Institut für Telematik wurden experimentelle Prototypen solcher Facettenaugenkameras mit 3x3 bzw. 4x4 Lichtsensoren und einem ATmega-Mikrocontroller (8-Bit, 16 / 20 MHz, 2 / 6 kB RAM) entwickelt. In studentischen Arbeiten wurde untersucht, wie diskrete Gesten (z. B. Handbewegung von links nach rechts) nach deren vollständiger Ausführung mit KNNs auf dem Mikrocontroller erkannt werden können. Für einige Anwendungen wäre es aber ergonomischer, mit einer kontinuierlichen Bewegung aus einer Menge von Optionen (z. B. Menüeinträgen) auswählen zu können, was eine kontinuierliche Erkennung durch das KNN erfordert (kontinuierliche Gesten).

Ziele der Arbeit

Das Ziel der ausgeschriebenen Arbeit ist es zu untersuchen, wie kontinuierliche Gesten mit KNNs auf kleinen Microcontrollern zuverlässig erkannt und zur Navigation in einem öffentlich aufstellbaren Informationsanzeigesystem eingesetzt werden können. Hierzu müssen neuronale Netze für die Erkennung kontinuierlicher Gesten trainiert werden. Es soll untersucht werden, wie durch möglichst zuverlässige Gestenerkennung eine ergonomische Steuerung auch unter nicht idealen Lichtverhältnissen möglich ist. Es muss abgeschätzt werden, wie viel Speicher und Rechenzeit für die Erkennung auf dem Mikrocontroller der Kamera benötigt würde. Die Gestenerkennung soll praktisch für ein Informationsanzeigesystem demonstriert werden, in dem in einem mehrstufigen Menü Einträge ausgewählt werden können. Die Software soll auf einem PC in Python mit der KNN-Bibliothek Keras erstellt werden. Die Facettenaugenkamera muss so modifiziert werden, dass die Abstände der Facetten einstellbar sind.

Technology Neural Networks, Python
Documents Flyer
Contact Dr. Marcus Venzke