Zeit statt Raum: Forscher haben ein neuronales Netzwerk entwickelt, das auf Basis nur eines künstlichen Neurons arbeitet – und trotzdem so rechenstark ist wie tausende verknüpfter Knoten. Möglich wird dies, weil zeitliche Verzögerungen die normalerweise räumlichen Verbindungen im neuronalen Netzwerk ersetzen. Das künstliche Neuron nimmt dadurch nacheinander die Rolle verschiedener Knoten ein – das Netzwerk existiert in der Zeit, nicht im Raum.
Ob beim Knacken von Proteincodes, dem Auslesen von Gehirnsignalen oder dem Auswerten großer Datenmengen: Lernfähige Computersysteme sind in vielen Bereichen fast schon unverzichtbar. Meist beruhen sie auf neuronalen Netzwerken, bei denen Rechenknoten in mehreren Schichten miteinander verschaltet sind. Wie bei den Neuronenverknüpfungen in unserem Gehirn wird darin jede Verbindung, die zu einer richtigen Entscheidung führt, im Laufe der Trainingszeit stärker gewichtet – das Netzwerk lernt.
Stromfressend und aufwendig
Das Problem jedoch: Werden solche neuronalen Netzwerke mittels Software in Computern nachgebildet, verbrauchen die aus tausenden künstlichen Neuronen bestehenden Systeme teilweise enorme Mengen an Energie. Allein für die Trainingsphase benötigte beispielsweise eines der aktuell besten KI-Programme zur Spracherzeugung so viel Strom, dass dies dem CO2-Ausstoß von 700.000 mit dem Auto gefahrenen Kilometern entspricht.
Ein anderer Ansatz ist die physikalische Nachbildung der neuronalen Netze durch Hardware. Dabei entspricht jedes künstliche Neuron einem Halbleiter-Bauelement oder wird mithilfe von Lasern optisch umgesetzt. Das jedoch beschränkt die mögliche Größe und Komplexität eines solchen Netzwerks: Während es in Supercomputern bereits möglich ist, Milliarden von Neuronen zu programmieren, erreichen die jüngsten Hardware-Implementierungen bisher nur eine Anzahl von einigen tausend künstlichen Nervenzellen.
Nur ein Knoten statt vieler
Eine ungewöhnliche Lösung für diese Probleme haben nun Florian Stelzer von der Technischen Universität Berlin und seine Kollegen entwickelt. Ihre Idee: Statt ein Netzwerk aus räumlich verbundenen Knoten zu verwenden, besteht ihr neuronales Netz aus nur einem einzigen per Software programmierten Neuron. Der Clou dabei: Dieser Knoten wird zeitlich versetzt angesteuert und ausgelesen und kann so innerhalb von Sekundenbruchteilen die Rollen aller virtuellen Neuronen einnehmen.
Auf diese Weise entsteht eine völlig neue Klasse von neuronalen Netzen, deren Neuronen nicht im Raum verteilt sind, sondern in der Zeit. Das Team hat dieses System „Folded-in-time Deep Neural Network“ (Fit-DNN) getauft. Vergleichbar ist die Funktionsweise dieses Netzwerks mit einem Gast am Tisch, der die Konversation einer ganzen Tischgesellschaft simuliert, indem er sich blitzschnell von einem Stuhl auf den anderen setzt und alle Gesprächsbeiträge einfach selber spricht.
Feedback durch Zeitmodulation
Wie aber lernt und arbeitet ein solches Zeitnetzwerk aus nur einem Neuron? Während normale Netzwerke lernen, indem richtige Verknüpfungen im Laufe der Zeit stärker gewichtet und ausgebaut werden, geschieht dies beim neuen Netzwerk durch Anpassungen der Zeitverzögerung. „Das Neuron interagiert dabei statt mit anderen Knoten mit seinen eigenen verzögerten Zuständen“, erklären die Forschenden. Spezielle Verzögerungsleitungen nehmen dafür den Zustand des Neurons auf, modulieren ihn in geeigneter Weise und senden das Signal mehr oder weniger stark verzögert zurück.
Bisher hat das Team ihr Netzwerk softwarebasiert umgesetzt, es ist aber auch als Hardwaresystem umsetzbar. „Für eine Realisierung in Hardware kämen vor allem laserbasierte Schaltungen in Frage, weil diese so schnell sind, dass die Zeitverzögerungen besonders kurz ausfallen“, erklärt Stelzer. „Dass das prinzipiell möglich ist, haben wir jetzt im Computer gezeigt.“ Im einfachsten Falle wären dafür nur eine Lichtquelle, ein paar Koppler und optische Fasern verschiedener Länge nötig.
Ersten Test bestanden
Erste Tests haben bereits ergeben, dass ein solches System selbst die verschiedenen Netzwerkebenen eines tiefen neuronalen Netzes simulieren kann, wie die Forschenden berichten. Unter anderem löste das neuartige Fit-DNN erfolgreich eine für neuronale Netze typische Aufgabe: Es konnte Bilder von Kleidungsstücken, die durch überlagertes Rauschen unkenntlich gemacht wurden, wieder rekonstruieren.
Das Ergebnis war zwar etwas schlechter als bei herkömmlichen, hochkomplexen neuronalen Netzen. Dafür arbeitete das Zeit-Netzwerk aber auch nur mit wenigen Verzögerungsschleifen – das sei noch ausbaufähig, so das Team.
Chancen für neuartige KI-Systeme
Nach Ansicht der Wissenschaftler eröffnet ihr Konzept ganz neue Möglichkeiten für lernfähige KI-Systeme. Gleichzeitig besteht auch die Möglichkeit, die Effizienz klassischer neuronaler Netzwerke zu steigern, indem man beide Methoden miteinander kombiniert: „Indem man zusätzliche räumliche Knoten in der Fit-DNN einfügt, könnte man je nach Aufgabe und Plattform die optimale Kombination aus zeitlichen und räumlichen Knoten nutzen“, schreiben Stelzer und seine Kollegen.
Mehrere internationale Arbeitsgruppen aus Physik und Computerwissenschaft haben bereits angekündigt, die neuen neuronalen Netze so schnell wie möglich auch als Hardware-Schaltung umsetzen zu wollen. (Nature Communications, 2022; doi: 10.1038/s41467-021-25427-4)
Quelle: Technische Universität Berlin
