Bern: Zufälliges Rauschen bringt KI-Netzwerken das Lernen bei
Ein Team der Universität Bern hat einen Lernmechanismus für gehirninspirierte Netzwerke entwickelt. Er könnte zu energieeffizienteren Computersystemen führen.
Ein Forschungsteam unter der Leitung der Universität Bern hat einen neuen Lernmechanismus für neuronale Netzwerke entwickelt, die sich an der Funktionsweise des Gehirns orientieren.
«Spikebased Alignment Learning» nutzt zufällige Schwankungen in der Aktivität künstlicher Nervenzellen, um asymmetrische Verbindungen erkennbar zu machen; das erlaubt weit voneinander entfernten Synapsen, sich selbstständig aufeinander abzustimmen, ohne direkt miteinander zu kommunizieren. Der Ansatz könnte dazu beitragen, Lernprozesse im Gehirn besser zu verstehen und robuste, energieeffiziente gehirninspirierte Computersysteme zu entwickeln.
Künstliche neuronale Netze – die Basis der modernen KI-Revolution – sind zwar vom Gehirn inspiriert, lernen aber mit mathematischen Verfahren, für die es in der Biologie noch keine bekannten entsprechenden Mechanismen gibt. Ein zentrales Verfahren beim Training solcher Netzwerke ist die sogenannte «Fehler-Rückpropagation»: Dabei werden Fehlersignale durch das künstliche neuronale Netzwerk zurückgeleitet, damit die Verbindungen zwischen künstlichen Neuronen angepasst werden können. Damit das funktioniert, müssen die Verbindungen für die Vorwärts- und Rückwärtsübertragung sehr genau aufeinander abgestimmt sein.
In digitalen Computern lässt sich das technisch einfach umsetzen – im biologischen Gehirn und in gehirninspirierten (neuromorphen). Computersystemen jedoch nicht: In beiden Fällen sind Verbindungen – sogenannte Synapsen – zwischen Neuronen unidirektional, also fliesst Vorwärts- und Rückwärtsinformation zwischen Paaren von Neuronen notwendigerweise durch getrennte Kanäle. Dieses fundamentale Problem wurde bereits in den 1980ern erkannt und galt lange als Argument dafür, dass unser Gehirn nicht zu Fehler-Rückpropagation fähig ist.
Ein Forschungsteam unter der Leitung des Instituts für Physiologie der Universität Bern präsentiert nun einen neuen Ansatz, der aufzeigt, wie Gehirne – sowohl biologische als auch neuromorphe – dieses Problem auf einfache Wc –z ieise umgehen können. Der neu entwickelte Lernmechanismus «Spikebased Alignment Learning» (SAL) ermöglicht es, Verbindungen mithilfe von Informationen anzupassen, die direkt an der jeweiligen Synapse verfügbar sind. Entwickelt wurde der Ansatz von Timo Gierlich und Dr. Mihai A. Petrovici von der NeuroTMA Forschungsgruppe der Universität Bern gemeinsam mit Forschenden der Universität Heidelberg und des Okinawa Institute of Science and Technology.
Petrovici leitet am Institut für Physiologie die Forschungsgruppe Neuroinspirierte Theorie, Modellierung und Anwendungen (NeuroTMA), welche theoretische Modelle neuronaler Netzwerke entwickelt, um biologische Informationsverarbeitung besser zu verstehen und auf neuromorphe Computersysteme zu übertragen. Die Studie ist in Nature Communications erschienen.
Wie Rauschen zum Lernsignal wird
Biologische die sogenannte nutzt solche kleinen zufälligen Schwankungen erkennen, welche Verbindungen im Netzwerk noch nicht gut aufeinander abgestimmt sind Paar von Neuronen asymmetrisch vor Asymmetrie umgekehrt daraufhin selbst anpassen, entfernten Stellen im Netzwerk zu benötigen. «Rauschen» bedeutet hier also nicht Geräusch, sondern kleine zufällige Veränderungen, wie sie auch im Gehirn und in elektronischen Bauteilen vorkommen.
«Rauschen gilt in technischen Systemen meist als Störfaktor. In unserem Ansatz liefert es aber genau die Variation, aus der das Netzwerk Informationen über seine Verbindungen gewinnen kann»
Ein grundlegendes Lernproblem lösen
Die Forschenden testeten SAL in verschiedenen künstlichen Netzwerken Modellen bis zur Bilderkennung. In allen Fällen gelang es SAL, die benötigten Verbindungen zuverlässig aufeinander abzustimmen, obwohl jede Verbindung nur Informatio unmittelbaren Umgebung nutzt. Auch bei der Bilderkennung Modelle, die asymmetrisch Rückpropagation blieb zwar am genauesten, benötigt dafür aber den Austausch von Informationen zwischen weit voneinander entfernten Teilen des Netzwerks neuromorphen Computersystemen nur schwer umsetzbar Rückpropagation verstehen, wie Informationen nutzt, die direkt an ihrem eigenen Ort verfügbar sind neuartiger Rechenarchitekturen Strecken auskommen, und dadurch gewinnen.
Von der Hirnforschung zum Computerchip
ausgleichen und dadurch zu robusteren lernfähigen Systemen beitragen. Die Forschenden nennen als mögliche künftige Anwendungen unter anderem dann zuverlässig funktionieren, wenn sich ihre Bauteile oder ihre Umgebung verändern.
Entwickler sind
Schritt ist, unsere theoretischen Vorhersagen an realen Systemen zu testen», sagt Petrovici. «Die Verbindung von theoretischer Neurowissenschaft und neuromorphem Computing ermöglicht es uns, grundlegende Fragen darüber zu untersuchen, wie ph lernen können.»
Nervenzellen geben Informationen weiter, indem sie kurze elektrische Impulse feuern – n Spikes. Die genauen Zeitabstände zwischen diesen Impulsen schwanken leicht. SAL der Signale, das sogenannte «Rauschen», um zu Wenn ein in ihren Spikemustern – das eine Neuron bringt das andere häufiger zum Feuern, als Einzelne Synapsen haben direkten Zugriff auf diese Spikemuster und können sich um eventuelle Asymmetrien auszugleichen, ohne Informationen von weit sagt von gehirnähnlichen nen aus ihrer erlaubt SAL viel bessere Ergebnisse als e Verbindungen nicht ausgleichen können. Die klassische Fehleretwas, das im Gehirn und in ist.
«Unser Ziel ist nicht, Fehlerauf herkömmlichen Computern zu ersetzen», sagt Dr. Mihai A. Petrovici. «Wc d iir wollen ein Netzwerk auch dann leistungsfähig lernen kann, wenn jede Verbindung nur die Das ermöglicht den Entwurf die ohne den Transport grosser Informationsmengen über lange ein Vielfaches an Geschwindigkeit und Energieeffizienz insbesondere für neuromorphes Computing interessant sein, dessen Funktionsweise sich Dabei sind die elektronischen Bauteile – ähnlich wie Nervenzellen – nie völlig SAL kann solche Unterschiede sehr effektiv intelligente Sensoren und tragbare Geräte, die auch mit mathematischen Analysen und Computersimulationen untersucht, aber bereits experimentell erforscht.
Auch neuromorphe nun dabei, den Mechanismus in ihren Systemen zu implementieren. «Der nächste ysische neuronale Systeme effizient und robust 2 Angaben zur Publikatio Gierlich, T. Baumbach, A. Kungl, A. F. Max, K. & Petrovici, M. A. (2026).
