Seite drucken

Bachelorarbeit

Zuverlässige Gestenerkennung mit künstlichen neuronalen Netzen

Hintergrund

Künstliche neuronale Netze (KNNs) werden heute meist von leistungsfähigen Rechnern ausgeführt. Es gibt aber auch Anwendungen von KNNs für die leistungsschwache Mikrocontroller mit wenig Speicher ausreichen. Ein Beispiel ist das optische Erkennen von Gesten mit denen Menschen Geräte steuern (z. B. Handbewegung links nach rechts). Ein solches System kann als kleines, preiswertes Modul realisiert werden, das einen Mikrocontroller und wenige Lichtsensoren enthält, die als eine Art Facettenauge genutzten werden. Aus den gemessenen Lichtstärken erkennt das KNN eine begrenzte Zahl von Gesten und signalisiert die Erkennung anderen Baugruppen des Gerätes über digitale Ausgänge.

Ein experimenteller Prototyp einer solchen Facettenaugenkamera mit 3x3 Lichtsensoren und einem Arduino-Board (ATmega328P: 8-Bit, 16 MHz, 2 kB RAM, 32 kB Flash-Speicher) als Verarbeitungseinheit wurde bereits entwickelt. Allerdings ist dieser noch stark kurzsichtig. Eine erste Bachelorarbeit hat gezeigt, dass Gesten mit KNNs erkannt werden können.

Ziele der Arbeit

Das Ziel der hier ausgeschriebenen Arbeit ist es zu untersuchen, wie die maximale Zuverlässigkeit der Gestenerkennung erreicht werden kann, und die Kurzsichtigkeit der Kamera zu beheben. Wurde eine Geste ausgeführt, muss diese zuverlässig erkannt werden, jedoch keine andere. Auch bei unruhigem Hintergrund oder anderen Bewegungen soll keine Geste erkannt werden. Das gilt z. B. auch bei unterschiedlicher Ausführung der Gesten (Geschwindigkeit, Varianten der Handbewegung), unter-schiedlichen ggf. auch schwierigen Lichtverhältnissen, beleuchteter und unbeleuchteter Hand, ungleichmäßigem und ggf. bewegtem Hintergrund oder pulsierendem Licht (gedimmte LED-Beleuchtung). Die Auswirkung solcher Einflüsse auf die Zuverlässigkeit soll untersucht werden. Außerdem soll verglichen werden, ob bereits 5 Pixel pro Bild die gleiche Zuverlässigkeit ermöglichen wie 9 Pixel.

Die Gestenerkennung soll mit der Kamera für die Steuerung von Präsentationsfolien praktisch demons-triert werden. Die Kurzsichtigkeit der Kamera soll durch Entwicklung und 3D-Druck eines neuen Ge-häuses behoben werden. Zum Training auf einem PC sollen das KNN-Werkzeug Keras und Python-Skripte verwendet werden. Die Software für das Adruino-Board der Kamera muss in C implementiert werden.

Student Philipp Kubik
Dokumente Flyer
Betreuer Dr. Marcus Venzke