TinyML: Maschinelles Lernen am Edge

Maschinelles Lernen boomt. Jeden Tag kommen neue Modelle, Algorithmen und Anwendungen hinzu. Laut der Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (OECD) wurden allein im Jahr 2020 mehr als 75 Milliarden US-Dollar in künstliche Intelligenz (KI) investiert, gegenüber 3 Milliarden US-Dollar im Jahr 2012. Der größte Teil dieser Mittel floss in die Forschung und Entwicklung im Bereich maschinelles Lernen. 

Maschinelles Lernen besteht aus repetitiven Rechenoperationen, nutzt intensiv lineare Algebra und wird traditionell auf Servern oder in der Cloud von leistungsstarken Computern ausgeführt. Doch was wäre, wenn sich komplexe Aufgaben des maschinellen Lernens außerhalb der eigenen Räumlichkeiten, aber in unmittelbarer Nähe und mit weniger leistungsfähigen Rechengeräten ausführen ließen? Damit könnten Unternehmen KI am Edge einsetzen, ohne riesige Rechenzentren zu benötigen. 

TinyML bringt maschinelles Lernen mithilfe winziger, stromsparender Mikrocontroller an den Edge.

Was ist TinyML? 

Tiny Machine Learning (TinyML) ist eine Disziplin an der Schnittstelle von maschinellem Lernen (ML) und eingebetteten Systemen, mit der sich ML-Modelle auf stromsparenden Mikrocontrollern ausführen lassen.

Eingebettete Systeme bestehen hauptsächlich aus Hardware und Software, die für eine bestimmte Funktion entwickelt wurden. Es handelt sich um Computer, die sich jedoch im Gegensatz zu Allzweckcomputern wie PCs, Mobiltelefonen oder Tablets auf bestimmte Aufgaben konzentrieren. Beispiele für eingebettete Systeme sind Drucker, Haushaltsgeräte, Digitalkameras, elektronische Taschenrechner, Geldautomaten und vieles mehr.

Mikrocontroller sind winzige Chips, die mit sehr wenig Strom auskommen – oft mit nur wenigen Kilobyte Speicher und manchmal sogar ohne Betriebssystem – und den Hardwareteil eingebetteter Systeme bilden, sodass diese ihre Aufgaben ausführen können.

Zu den Merkmalen von Mikrocontrollern gehören:

• Geringer Stromverbrauch: Mikrocontroller sind sehr energieeffizient und verbrauchen nur wenige Milliwatt.
• Geringer Speicherbedarf: Sie kommen mit nur wenigen Kilobyte Speicher aus.
• Kein Betriebssystem: Für ihren Betrieb benötigen sie kein Betriebssystem, wodurch sie schnell und effizient sind.
• Günstig: Sie sind im Allgemeinen kostengünstig.

Die Ursprünge von TinyML lassen sich bis ins Jahr 2014 zurückverfolgen. Pete Warden, ein Forschungsingenieur bei Google, gilt unter seinen Kollegen als Begründer und früher Wegbereiter des Teilbereichs TinyML im maschinellen Lernen.

Ebenfalls lesenswert: KI als Service effektiv implementieren

Warum TinyML wichtig ist

In einer Welt, in der ML rasch an Popularität und Verbreitung gewinnt, wird die Möglichkeit, es am Edge einzusetzen, immer wichtiger. Während große Cloud-Anbieter wie Microsoft Azure, Amazon AWS und Google Cloud Rechenzentren mit Tausenden von Servern aufbauen, die ML-Modelle parallel mit riesigen Datensätzen ausführen, ermöglicht TinyML den Einsatz von nur ein oder zwei Geräten, die je nach Bedarf eines Unternehmens einfache Aufgaben erledigen können. Zum Beispiel:

Ein Hersteller von Smart-Home-Geräten möchte, dass seine Geräte den Stromverbrauch automatisch an Echtzeit-Preisschwankungen für Elektrizität anpassen. Er möchte jedoch nicht Millionen in den Bau eines teuren Rechenzentrums für all seine Geräte investieren. Stattdessen könnte er TinyML-Algorithmen in jedes Gerät integrieren, sodass es unabhängig lernt, wie stark der Stromverbrauch angesichts seines aktuellen Zustands reduziert werden muss (z. B. abhängig von der Tageszeit und dem Energieverbrauch anderer Geräte im Haushalt).

Ein Automobilhersteller möchte seine Flotte autonom fahrender Autos für einen Fahrdienst nutzen, will aber derzeit nicht in vollständige Autonomie investieren, weil davon nicht genügend Menschen profitieren könnten. Stattdessen kann er TinyML-Algorithmen in seine Fahrzeuge integrieren, sodass jedes Fahrzeug mithilfe der Erkennung von Mustern auf Grundlage der bei früheren Fahrten gesammelten Daten (z. B. Geschwindigkeitsbegrenzungen und Verkehrsmuster) unabhängig agiert.

In beiden Fällen würden die Unternehmen Millionen beim Bau teurer Infrastrukturen sparen, obwohl nur kleine Geräte benötigt werden – und könnten sich stattdessen auf die Entwicklung neuer Funktionen konzentrieren.

Der Einfluss von TinyML auf Edge Computing

Edge Computing bezeichnet den Prozess, Cloud Computing näher zu den Nutzern zu verlagern, damit diese von schnelleren Reaktionszeiten profitieren. Die Idee dahinter: Wenn nur ein kleiner Teil der Daten sofortige Aufmerksamkeit benötigt, müssen nicht alle Daten über das Internet hin- und hergesendet werden.

TinyML verleiht Geräten Autonomie, indem ML-Algorithmen auf jedem Gerät ausgeführt werden, ohne mehr als die notwendigen Daten hochzuladen. Dadurch können TinyML-basierte Geräte nicht nur bessere Leistungen erbringen, sondern auch deutlich weniger Energie benötigen als bei einer direkten Verbindung zu zentralisierten Servern mit großen Datensätzen. Das spart Geld und Zeit und verbessert zugleich die Benutzererfahrung.

Ebenfalls lesenswert: Mikrorechenzentren entwickeln den Edge weiter

Nutzen und Vorteile von TinyML

Der Einsatz von TinyML bietet gegenüber zentralisierten cloudbasierten Systemen viele Vorteile, darunter:

• Schnelle Inferenz bei geringer Latenz: TinyML-Algorithmen können Ergebnisse in nur wenigen Dutzend Millisekunden ableiten. Dadurch laufen sie deutlich schneller als herkömmliche ML-Modelle, die sämtliche Trainingsdaten an entfernte Server senden müssen.
• Geringe Kosten: ML am Edge ermöglicht es Unternehmen, auf den Bau kostspieliger Rechenzentren mit Tausenden von Servern zu verzichten. Stattdessen können sie preisgünstige, selbstlernende Geräte einsetzen, die weniger Energie benötigen und so enorme Einsparungen ermöglichen.
• Geringe Modellgröße: TinyML-Modelle sind durch Techniken wie Komprimierung oder Quantisierung für den Betrieb auf kleinen Geräten optimiert. Dadurch entstehen kleinere Dateien, die dennoch dieselbe Genauigkeit wie Standardmodelle erreichen.
• Lokaler Speicher: ML-Algorithmen benötigen viel Speicher und Speicherplatz, um alle ihre Parameter abzulegen. Das stellt Geräte mit begrenztem RAM oder Flash-Speicher vor Herausforderungen. TinyML reduziert dieses Problem, indem nur die für die Ergebnisermittlung wichtigen Merkmale – der Inferenzteil – gespeichert werden, statt jede Trainingsvariable abzulegen. Das führt zu einer kleineren Modelldatei.
• Datenschutz: Datenschutz gewinnt im Zeitalter von Big Data zunehmend an Bedeutung. TinyML ermöglicht es Unternehmen, die Kontrolle zurückzugewinnen, indem die Daten ausschließlich auf dem Edge-Gerät verbleiben und so das Risiko des Verlusts sensibler Daten sinkt.

Herausforderungen von TinyML

Die Vorteile des maschinellen Lernens am Edge liegen auf der Hand. Dennoch gibt es einige Einschränkungen, die Unternehmen kennen müssen, bevor sie diese Technologie effektiv einsetzen können.

• Begrenzte Datenübertragungsrate: Das Hin- und Hersenden großer Datensätze zwischen Geräten ist aufgrund der begrenzten Bandbreite zeitaufwendig. Der vollständige Ausbau von 5G-Netzen dürfte diese Herausforderung jedoch durch hohe Datenübertragungsgeschwindigkeiten bewältigen.
• Begrenzter Speicher: Wie bereits erwähnt, benötigen ML-Modelle viel Speicher, um all ihre Parameter abzulegen. Das führt bei Geräten mit nur wenig RAM zu Problemen. TinyML-Algorithmen wurden entwickelt, um diese Herausforderung zu bewältigen, indem sie weniger Speicherplatz benötigen und dennoch dieselbe Genauigkeit wie Standardmodelle erreichen. Derzeit gibt es nur wenige ML-Plattformen, die den Anforderungen von TinyML-Geräten gerecht werden.
• Fehlerbehebung: Da das ML-Modell mit den vom Gerät erfassten Daten trainiert wird und auf dem Gerät selbst läuft, ist das Erkennen und Beheben von Leistungsproblemen komplexer als in einer Cloud-Umgebung, in der Techniker Probleme aus der Ferne diagnostizieren können.

Unternehmensanwendungen für TinyML

TinyML ist für IT-Teams interessant, die die Netzwerkfähigkeiten, Sicherheit und den Datenschutz ihrer Organisation verbessern möchten. Zu den Branchen, die von TinyML profitieren können, gehören:

• Fertigung: TinyML kann effizientere Fertigungsprozesse ermöglichen, indem es Echtzeitanalysen auf Maschinen bereitstellt.
• Einzelhandel und E-Commerce: Unternehmen aus Einzelhandel und E-Commerce können TinyML-Modelle am Edge einsetzen, um den Kundenservice zu verbessern, Preisstrategien zu optimieren, Umsatzchancen zu steigern und Lagerbestände in Lagern oder Filialen zu verfolgen.
• Gesundheitswesen: TinyML-Modelle können Gesundheitsunternehmen dabei helfen, Gesundheitszustände in Geräten zu erkennen, bevor Symptome auftreten, die Funktionsfähigkeit von Geräten sicherzustellen oder Vitalwerte von Patienten zu Hause zu überwachen.
• Fernerkundung und Forstwirtschaft: TinyML-Algorithmen werden eingesetzt, um Probleme in der Forstwirtschaft zu lösen, etwa vorherzusagen, wann Bäume gefällt werden können und wo aufgrund von Wetter und Vegetation Waldbrände auftreten.
• Automobilindustrie: Automobilunternehmen können TinyML-Modelle einsetzen, um Sicherheitsfunktionen zu verbessern, Fehler in ihren Fahrzeugen zu beheben, bevor daraus größere Probleme entstehen, oder Informationen über das Fahrverhalten zu Forschungszwecken zu sammeln.

Erste Schritte mit TinyML

TinyML ist eine vielversprechende Technologie mit zahlreichen Vorteilen für Organisationen, die intelligente Geräte am Edge nutzen möchten. Mehrere ML-Frameworks unterstützen TinyML-Anwendungen. Zu den beliebtesten Plattformen gehören TensorFlow, PyTorch Mobile und Edge Impulse.

Mit der weiteren Verbreitung des Internets der Dinge (IoT) suchen viele Unternehmen nach Möglichkeiten, maschinelles Lernen am Edge zur Analyse der von intelligenten Geräten erfassten Daten einzusetzen. Daher wächst das Interesse an Tools, die diesen Prozess optimieren können, ohne Genauigkeit oder Sicherheit zu beeinträchtigen.

Weiterlesen: KI-gestütztes ITSM verändert das IT-Management