Das Exklusiv-Oder: Warum Neuron nicht gleich Neuron ist

Das Exklusiv-Oder: Warum Neuron nicht gleich Neuron ist

Bestimmte logische Operationen in künstlichen neuronalen Netzen benötigen mehrere Schichten. Menschliche Neuronen haben im Vergleich ein Ass im Ärmel.

1969 veröffentlichten die KI-Pioniere Marvin Minsky und Seymour Papert ihr Buch Perceptrons, in dem sie in einer Reihe mathematischer Beweise die Vor- und Nachteile des gleichnamigen künstlichen neuronalen Netzes aufzeigten. Das Perzeptron-Netz ist ein 1958 vom Psychologen Frank Rosenblatt entwickeltes neuronales Netz (Erklärung), das für das überwachte Lernen eingesetzt werden kann.

Minsky und Papert bewiesen in ihrem Buch, dass ein dreilagiges Perzeptron zwar die Ausgaben der Logikgatter Und (AND) und Oder (OR) vorhersagen kann, jedoch am Exklusiv-Oder (XOR) scheitert, sofern nicht mindestens ein künstliches Neuron der ersten Schicht mit allen Eingaben verknüpft ist. Logikgatter bestimmen, unter welchen Bedingungen Signale etwa in Computern weitergeleitet werden. Diese Regeln lassen sich in Wahrheitstabellen darstellen.

___STEADY_PAYWALL___

Die Einschränkung des Perzeptrons in der Vorhersage der XOR-Funktion sorgte für Ernüchterung unter KI-Forschern und Geldgebern, die auf eine simplere technische Lösung gehofft hatten. Das trieb neben anderen Faktoren die Forschung in den 1970ern weg von neuronalen Netzen und in den KI-Winter.

Die Klassifizierung von Outputs der Logikgatter erfordert die Fähigkeit, zwei Output-Klassen zu trennen: 0 und 1. Werden diese für die jeweiligen Varianten der Inputs der einzelnen Gatter in einen Graphen eingetragen, lassen sich diese Klassen beim AND- und OR-Gatter mit einer einfachen Linie trennen.

Graphische Darstellung des AND-Gatters

Darstellung des AND-Gatters in einem Graphen: Wenn Input u1 = 1 ist und Input u2 = 1 ist, ist die Ausgabe ebenfalls 1. In allen anderen Fällen 0. | Bild: Raman Bansal

Bei den Outputs des XOR-Gatters ist dies jedoch nicht möglich – es handelt sich um ein nicht-lineares Problem. Für die Output-Klassifizierung benötigt es zwei Linien.

Graphische Darstellung des AND-Gatters

Darstellung des XOR-Gatters. Wenn u1 oder u2 = 1 und jeweils der andere Wert = 0 ist, ist die Ausgabe 1. Wenn beide Werte = 1 oder = 0 sind, ist die Ausgabe 0. Im normalen OR-Gatter wäre der Ausgabewert auch 1, wenn u1 und u2 gleichzeitig = 1 sind. | Bild: Raman Bansal

Graphische Darstellung des AND-Gatters mit zwei Trennlinien

Die Ausgabewerte des XOR-Graphen lassen sich erst mit zwei Linien klar voneinander trennen. | Bild: Raman Bansal

Erst ein mehrschichtiges, verbundenes künstliches neuronales Perzeptron – ein sogenanntes Multilayer Perzeptron (MLP) – ermöglicht diese Klassifikation. Da zahlreiche Klassifikationsprobleme sich gar nicht oder nur annähernd linear lösen lassen, ist ein simples Perzeptron nur in wenigen Fällen nützlich und in allen anderen Fällen ein MLP oder ein vergleichbares mehrschichtiges neuronales Netz nötig.

Biologische neuronale Netze und Logikgatter

Wie künstliche neuronale Netze sind auch biologische neuronale Netze in der Lage, mit den unterschiedlichen Logikgattern umzugehen.

Biologische Neuronen leiten elektrische Signale über den Austausch von Ionen wie Kalium, Natrium und Chlorid weiter. Der durch die fließenden Ionen ausgelöste Impuls wird als Aktionspotenzial bezeichnet.

Ein eingehendes Signal wird vom Neuron an den Dendriten genannten Verzweigungen aufgenommen. Ob ein Aktionspotenzial weitergeleitet wird, hängt unter anderem von der Signalstärke und weiteren eingehenden Signalen ab. Dabei können bestimmte Mechanismen in Neuronen die Funktion von AND- und OR-Gattern erfüllen und so bestimmen, unter welchen Bedingungen Signale weitergeleitet werden oder nicht.

Nach bisherigem Kenntnisstand brauchen Gehirne für die XOR-Operation mehrere verknüpfte Neuronen vergleichbar mit einem Multilayer Perzeptron. Doch eine Studie von deutschen und griechischen Neurowissenschaftlern von menschlichen kortikalen Neuronen zeigt, dass das biologische Neuron seinem künstlichen Nachbau einiges voraushat.

Dendriten können XOR auch alleine

Die Neurowissenschaftler untersuchten Neuronen aus den zweiten und dritten Schichten der Großhirnrinde von Epilepsie-Patienten. Dabei bemerkten sie deutliche Unterschiede in den dendritischen Aktionspotenzialen im Vergleich zu vergleichbaren Experimenten mit Rattenhirnen.

Auf der Suche nach der Ursache für diese Unterschiede stellten sie fest, dass die Neuronen auch dann weiterfeuerten, als ihnen ein Natriumkanalblocker namens Tetrodotoxin verabreicht wurde. In ihren bisherigen Experimenten mit Rattenneuronen schaltete das die Signalweiterleitung aus. Erst durch einen Kalziumblocker konnten die Forscher alle Signale unterbinden.

Um zu verstehen, welche Rolle diese Kalzium-vermittelten dendritischen Aktionspotenziale (dCaAPs) einnehmen, modellierten die Forscher die Morphologie des untersuchten Neurons in einer simulierten Umgebung. Das Neuron wurde über zwei Kanäle mit jeweils 25 anderen Neuronen verknüpft, die in unterschiedlichen Varianten feuerten.

Dabei stellten die Forscher fest, dass die Aktivierungsfunktion der dCaAPs die dCaAP-Amplitude bei gleichzeitiger Aktivierung der zwei Input-Kanäle verringerte und so das Signal hemmte. Andere dendritische Aktionspotenziale verstärken normalerweise gleichzeitige dendritische Eingänge.

Als die Forscher zusätzlich zu den zwei feuernden Kanälen einen inhibierenden – also hemmenden – Kanal an die Dendriten anlegten, erholte sich die dCaAP-Amplitude wieder. Dieses Verhalten entspricht präzise der Funktion eines XOR-Gatters.

Darstellung der XOR und AND/OR Funktionen im Neuron

Die vereinfachte Darstellung lokalisiert die jeweiligen Logikgatter im Neuron. | Bild: Gidon et al.

Künstliche und biologische Neuronen: Ein schiefer Vergleich

Die Forscher vermuten daher, dass die Dendriten und Zellkörper der untersuchten Neuronen der Großhirnrinde als ein Netzwerk aus verbundenen logischen Operationen beschrieben werden können.

„In diesem Modell wird die XOR-Operation in den Dendriten mit dCaAPs und die AND/OR-Operation am Zellkörper und an apikalen und basalen Dendriten mit Natrium- bzw. NMDA-Spikes durchgeführt“, fassen die Forscher ihr Modell zusammen. Weitere Forschung muss zeigen, ob andere Lebewesen über vergleichbare Mechanismen im Gehirn verfügen und ob sich die Ergebnisse der Wissenschaftler reproduzieren lassen.

Schätzungen gehen davon aus, dass das menschliche Gehirn über knapp 86 Milliarden Neuronen verfügt. Die hier aufgezeigte Fähigkeit eines einzigen biologischen Neurons, eine XOR-Operation durchzuführen, weist darauf hin, dass weitaus mehr künstliche Neuronen benötigt werden, um ein mit dem menschlichen Gehirn vergleichbar leistungsstarkes künstliches Netz zu schaffen – sofern sich die Funktionsweise des Gehirns überhaupt auf die elektronische Signalweiterleitung reduzieren lässt.

Via: Science, Quora

Weiterlesen über Künstliche Intelligenz: