Rechnen wie das Gehirn: Wie sparsam sind Spiking Neural Networks wirklich?

Künstliche Intelligenz kann heute Texte schreiben, Bilder erzeugen und Fahrzeuge steuern. Hinter besonders anspruchsvollen Anwendungen wie grossen Sprachmodellen stehen meist leistungsfähige Rechenzentren. Ganz anders sieht es aus, wenn KI direkt dort arbeiten soll, wo die Daten entstehen: auf einer Kamera, auf einem Roboter oder an Bord eines Satelliten.

Bei solchen Anwendungen werden die Daten direkt vor Ort verarbeitet, statt sie zuerst in eine Cloud zu übertragen. Dieses sogenannte Edge Computing (Edge AI) ermöglicht kurze Reaktionszeiten und reduziert die zu übertragende Datenmenge. Gleichzeitig stehen lokal meist deutlich weniger Rechenleistung und Energie zur Verfügung.

Diese Herausforderung betrifft viele Anwendungen. Eine an der Hochschule Luzern entwickelte KI-Zählmaschine erkennt beispielsweise kleine oder überlappende Objekte direkt vor Ort. Im Weltraum wird die Energiefrage noch deutlicher: Kameras und Rechner eines Satelliten müssen mit dem begrenzten Strom aus Solarpanels auskommen.

Die zentrale Frage lautet deshalb: Wie lässt sich leistungsfähige KI mit möglichst wenig Energie betreiben?

Vorbilder aus der Natur nutzen

Eine mögliche Antwort liefern Spiking Neural Networks, kurz SNNs. Sie orientieren sich stärker an biologischen Nervensystemen als herkömmliche neuronale Netze.

Klassische Netze verarbeiten kontinuierliche Zahlenwerte. SNNs kommunizieren dagegen über einzelne Ereignisse, sogenannte Spikes. Vereinfacht gesagt: Ähnlich wie eine Nervenzelle im Gehirn sammelt eine künstliche Nervenzelle eingehende Signale. Erst wenn genügend Signale zusammengekommen sind, sendet sie selbst einen Impuls, einen Spike.

SNNs können viele aufwendige Multiplikationen durch einfachere Additionen ersetzen. Das spart aber nicht automatisch Energie. Entscheidend ist, wie häufig Daten zwischen Speicher und Recheneinheit bewegt werden müssen. Neuromorphe Hardware hält diese Daten möglichst lokal und wird nur aktiv, wenn tatsächlich ein Spike eintrifft.

Was bedeutet neuromorphe Hardware?

Der Begriff «neuromorph» bedeutet sinngemäss «dem Nervensystem nachempfunden». Neuromorphe Prozessoren versuchen, bestimmte Prinzipien des Gehirns technisch nachzubilden. Dazu gehören viele kleine Verarbeitungseinheiten, Speicher direkt bei diesen Einheiten und eine ereignisbasierte Kommunikation. Neuromorphe Prozessoren sind darauf ausgelegt, Rechenaktivität gezielt durch eintreffende Ereignisse auszulösen. Teile der Hardware werden also vor allem dann aktiv, wenn tatsächlich ein Ereignis (Spike) verarbeitet werden muss. Damit sind solche Prozessoren besonders gut auf Spiking Neural Networks abgestimmt.

Sind SNNs damit grundsätzlich effizienter? Die Antwort lautet: Es kommt darauf an.

Drei Faktoren machen den Unterschied

Forschende am CC ISN der Hochschule Luzern haben untersucht, unter welchen Bedingungen SNNs tatsächlich Energie sparen können. Dabei zeigte sich: Entscheidend ist nicht allein die Art des neuronalen Netzes, sondern es müssen drei Faktoren zusammenspielen.

1. Die passende Hardware

Auch auf klassischen Prozessoren kann man mittels SNN Multiplikationen durch Additionen  ersetzen. Müssen die Daten für die Rechnungen aber ständig aus einem externen Speicher geladen werden, kann der Rechenvorteil schnell verloren gehen.

Neuromorphe Prozessoren speichern Daten deshalb nahe bei den Recheneinheiten und arbeiten ereignisgetrieben. Dadurch muss weniger gerechnet und weniger Energie für das ständige Verschieben von Daten aufgewendet werden.

2. Die passende Darstellung der Daten

Damit ein SNN Informationen verarbeiten kann, müssen diese zunächst in Spikes übersetzt werden. Wie diese Übersetzung erfolgt, beeinflusst sowohl den Energieverbrauch als auch die Genauigkeit des Netzes. Eine besonders sparsame Codierung ist deshalb nicht automatisch auch die beste für die jeweilige Aufgabe.

Warum Weltraumbilder gut zu Spikes passen

Weltraumbilder enthalten häufig grosse dunkle Flächen. Bei geeigneter Codierung erzeugen dunkle Pixel wenige oder keine Spikes. Das Netz muss entsprechend weniger Ereignisse verarbeiten. Die Studie zeigte einen deutlichen Zusammenhang: Je höher der Anteil dunkler Pixel war, desto weniger Energie benötigten bestimmte SNN-Konfigurationen auf neuromorpher Hardware. Das HSLU-Projekt «Energiesparend sehen» setzt bereits bei der Bildaufnahme an. Event-Kameras übertragen nicht laufend vollständige Bilder, sondern nur Veränderungen in einer Szene. Besonders vielversprechend wird der Ansatz, wenn Sensor, Datenrepräsentation, KI-Modell und Hardware gemeinsam optimiert werden.

3. Die passende Verarbeitungsdauer

SNNs verarbeiten Informationen über mehrere aufeinanderfolgende Zeitschritte. Mehr Zeitschritte können die Genauigkeit erhöhen, benötigen aber auch zusätzliche Energie. Entscheidend ist deshalb, einen guten Kompromiss zwischen Genauigkeit und Energieverbrauch zu finden.

Sollte man jetzt auf SNNs setzen?

SNNs sind vielversprechend, aber keine Universallösung.

Sie sind besonders interessant, wenn nur wenige relevante Ereignisse auftreten, die zu verarbeitenden Daten entsprechend spärlich sind und geeignete neuromorphe Hardware verfügbar ist. Auf klassischer Hardware bleiben gut optimierte CNNs häufig die bessere Lösung.

Für die Praxis lautet die entscheidende Frage deshalb nicht, ob SNNs grundsätzlich besser sind, sondern: Passt die ereignisbasierte Verarbeitung zu unseren Daten, unserer Hardware und den Anforderungen unserer Anwendung?

Auch bei einer zukünftigen Generation der HSLU-Zählmaschine könnte untersucht werden, ob Event-Kameras und SNNs hohe Bildraten mit weniger Energie verarbeiten können.

SNNs eröffnen neue Möglichkeiten für energieeffiziente KI. Wie viel Energie sich damit tatsächlich sparen lässt, hängt davon ab, wie gut Sensor, KI-Modell und Hardware zusammenpassen. Genau an dieser Schnittstelle forscht die Hochschule Luzern weiter.