Seite drucken

MaRES

Machine Learning für ressourcenbeschränkte eingebettete Systeme

Kontakt Prof. Dr. rer. nat. Volker Turau
Mitarbeiter Dr. Marcus Venzke
Beginn 1. Januar 2019
Ende 31. Dezember 2022
Finanzierung Technische Universität Hamburg

Projektbeschreibung

Nach Jahrzehnten intensiver Forschung hält Machine Learning (ML) zunehmend Einzug in reale Anwendungen. Wegbereiter sind der Fortschritt von Rechensystemen mit enormer Rechenleistung und die Verfügbarkeit großer Mengen von Daten. ML hat ein enormes Potenzial, die Leistungsfähigkeit von Geräten und Maschinen unterschiedlichster Anwendungsbereiche zu steigern. In den nächsten fünf bis zehn Jahren wird ML auch in eingebettete Systeme Einzug halten. Schon heute können solche Anwendungen für Maschinen mit leistungsfähigen Verarbeitungseinheiten (z. B. Industrie-PCs) erstellt werden. Aber kleinere Geräte haben meist nur preiswerte, energiesparende kleine Mikrocontroller. Zwar haben einige Mikrocontroller bereits eine 32-Bit-Architektur, Fließkomma-Arithmetik und Instruktionen für die Vektorverarbeitung. Aber auch 8-Bit-Architekturen ohne Fließkomma-Arithmetik sind noch weit verbreitet. Als RAM-Größen sind zwischen 2 kB und 512 kB typisch. Außerdem werden viele Geräte mit Batterien versorgt. Daher gibt für den Einsatz von ML auf kleinen Mikrocontrollern die große Herausforderung, den Verbrauch von Energie-, Rechen- und Speicherressourcen an die Realität solcher Systeme anzupassen.

Im Projekt soll daher untersucht werden, wie maschinelles Lernen hauptsächlich in Form künstlicher neuronaler Netze (KNN) effizient auf leistungsschwachen Mikrocontrollern verwendet werden kann. Dabei wird ML für typische Anwendungen eingebetteter Systeme eingesetzt, wie die Auswertung von Sensorsignalen oder die Optimierung der Kommunikation in Sensornetzen. Es wird betrachtet, welche Problemgrößen auf ressourcenbeschränkten Mikrocontrollern welcher Leistungsfähigkeit umsetzbar sind.

Der Ressourcenbedarf wird durch Kombination unterschiedlicher Ansätze reduziert. So muss das ML-Problem auf das für die Anwendung absolut Notwendige reduziert werden, also z. B. Eingaben vorverarbeitet oder unnötige Eingaben entfernt werden. Verwendete KNNs dürfen nicht zu groß (Anzahl Ebenen, Neuronen, Verbindungen zwischen Neuronen) gewählt werden. Alternativ wird zunächst ein großes KNN trainiert und danach komprimiert. Für Gewichte und Zwischenergebnisse können Bit-Breiten reduziert werden (z. B. Festkomma, binäre- oder ternäre Werte, hierarchische Quantisierung). Teilprobleme, die nicht im eingebetteten System ausgeführt werden müssen (wie Training, Optimierungsläufe, Vorverarbeitung), sollten so weit wie möglich auf ein leistungsfähiges System verschoben werden.

Als erste Anwendung dient ein eingebettetes System, das Handgesten (z. B. Handbewegung von links nach rechts oder von oben nach unten) mit einem KNN erkennt. Es soll in Massenproduktion für einen Preis unter einem Euro produzierbar sein und als Komponente in Geräten verbaut werden. Lichtsensoren in einer 3x3-Matrix dienen als eine Art Facettenauge. Ihre Signale werden im Prototyp von einem Mikrocontroller ATmega328P (8-Bit, 16 MHz, 2 kB RAM, 32 kB Flash-Speicher) verarbeitet. Dazu wird ein KNN ausgeführt, das erkannte Bewegungen in Gesten klassifiziert.

Publikationen

Florian Meyer und Volker Turau. QMA: A Resource-efficient, Q-learning-based Multiple Access Scheme for the IIoT. In 2021 IEEE 41st International Conference on Distributed Computing Systems (ICDCS), IEEE, Oktober 2021, pp. 864–874. Washington DC, USA / Virtually.
@InProceedings{Telematik_icdcs_2021, author = {Florian Meyer and Volker Turau}, title = {QMA: A Resource-efficient, Q-learning-based Multiple Access Scheme for the IIoT}, booktitle = {2021 IEEE 41st International Conference on Distributed Computing Systems (ICDCS)}, pages = {864-874}, publisher = {IEEE}, day = {7-10}, month = oct, year = 2021, location = {Washington DC, USA / Virtually}, }
Abstract: Many MAC protocols for the Industrial Internet of Things, such as IEEE 802.15.4 and its extensions, require contention-based channel access for management traffic, e.g., for slot (de)allocations and broadcasts. In many cases, subtle but hidden patterns characterize this secondary traffic, but present contention-based protocols are unaware of these patterns and therefore cannot exploit them. Especially in dense networks, these protocols often do not provide sufficient throughput and reliability for primary traffic, i.e., they cannot allocate transmission slots in time. In this paper, we propose QMA, a contention-based multiple access scheme based on Q-learning. It dynamically adjusts transmission times to avoid collisions by learning patterns in contention-based traffic. We show that QMA solves the hidden node problem without the overhead for RTS/CTS messages and, for example, increases throughput from 10 packets/s to 50 packets/s in a hidden three-node scenario without sacrificing reliability. Additionally, QMA's scalability is evaluated in a realistic scenario for slot (de)allocation in IEEE 802.15.4 DSME, where it achieves up to twice more slot (de)allocations per second.
Marcus Venzke, Daniel Klisch, Philipp Kubik, Asad Ali, Jesper Dell Missier und Volker Turau. Artificial Neural Networks for Sensor Data Classification on Small Embedded Systems. Technical Report Report arXiv:2012.08403, arXiv.org e-Print Archive - Computing Research Repository (CoRR), Cornell University, Dezember 2020.
@TechReport{Telematik_Venzke_ANNsES, author = {Marcus Venzke and Daniel Klisch and Philipp Kubik and Asad Ali and Jesper Dell Missier and Volker Turau}, title = {Artificial Neural Networks for Sensor Data Classification on Small Embedded Systems}, number = {Report arXiv:2012.08403}, institution = {arXiv.org e-Print Archive - Computing Research Repository (CoRR)}, address = {Cornell University}, month = dec, year = 2020, }
Abstract: In this paper we investigate the usage of machine learning for interpreting measured sensor values in sensor modules. In particular we analyze the potential of artificial neural networks (ANNs) on low-cost microcontrollers with a few kilobytes of memory to semantically enrich data captured by sensors. The focus is on classifying temporal data series with a high level of reliability. Design and implementation of ANNs are analyzed considering Feed Forward Neural Networks (FFNNs) and Recurrent Neural Networks (RNNs). We validate the developed ANNs in a case study of optical hand gesture recognition on an 8-bit microcontroller. The best reliability was found for an FFNN with two layers and 1493 parameters requiring an execution time of 36 ms. We propose a workflow to develop ANNs for embedded devices.
Florian Meyer und Volker Turau. Towards Delay-Minimal Scheduling through Reinforcement Learning in IEEE 802.15.4 DSME. In Proceedings of the First GI/ITG KuVS Fachgespräche Machine Learning and Networking, Februar 2020. München, Germany.
@InProceedings{Telematik_meyer_FGMLVS, author = {Florian Meyer and Volker Turau}, title = {Towards Delay-Minimal Scheduling through Reinforcement Learning in IEEE 802.15.4 DSME}, booktitle = {Proceedings of the First GI/ITG KuVS Fachgespr{\"a}che Machine Learning and Networking}, pages = , publisher = {}, day = {20-21}, month = feb, year = 2020, location = {M{\"u}nchen, Germany}, }
Abstract: The rise of wireless sensor networks (WSNs) in industrial applications imposes novel demands on existing wire- less protocols. The deterministic and synchronous multi-channel extension (DSME) is a recent amendment to the IEEE 802.15.4 standard, which aims for highly reliable, deterministic traffic in these industrial environments. It offers TDMA-based channel access, where slots are allocated in a distributed manner. In this work, we propose a novel scheduling algorithm for DSME which minimizes the delay in time-critical applications by employing reinforcement learning (RL) on deep neural networks (DNN).