Wenn Sie intelligenter werden, lernen Autos fast genauso viel wie wir.

Ursprünglicher Autor: Natalie Wolchover
  • Übersetzung

Untersuchungen haben gezeigt, dass Computermodelle, die als neuronale Netzwerke in einer ständig wachsenden Anzahl von Anwendungen verwendet werden, Sequenzen in Daten erkennen können, indem sie dieselben Algorithmen verwenden wie das menschliche Gehirn.


Bild

Das Gehirn löst sein kanonisches Problem - das Lernen -, indem es viele seiner Verbindungen nach einem unbekannten Regelwerk anordnet. Um diese Regeln aufzudecken, begannen die Wissenschaftler vor 30 Jahren, Computermodelle zu entwickeln, um den Lernprozess zu reproduzieren. In einer wachsenden Anzahl von Experimenten wird heute deutlich, dass sich diese Modelle bei der Ausführung bestimmter Aufgaben wie ein echter Hirn verhalten. Forscher sagen, dass diese Ähnlichkeit von der grundlegenden Entsprechung zwischen Gehirn- und Computerlernalgorithmen spricht.

Der vom Computermodell verwendete Algorithmus wird Boltzmann-Maschine genannt . Er wurde 1983 von Jeffrey Hinton und Terry Seinovsky erfunden [tatsächlich 1985- ca. trans.]. Es ist vielversprechend als einfache theoretische Erklärung verschiedener Prozesse, die im Gehirn ablaufen - Entwicklung, Gedächtnisbildung, Erkennen von Objekten und Klängen, Schlafzyklus und Wachheit.

"Dies ist die beste Gelegenheit, die wir heute haben, um das Gehirn zu verstehen", sagte Sue Becker, Professorin für Psychologie, Neurowissenschaften und Verhalten an der Universität. McMaster in Hamilton, Ontario. "Ich kenne kein Modell, das ein breiteres Spektrum an Phänomenen im Zusammenhang mit Lernen und Gehirnstruktur beschreibt."

Hinton, ein Pionier auf dem Gebiet der KI, wollte schon immer die Regeln verstehen, nach denen das Gehirn die Verbindung stärkt oder schwächt, dh den Lernalgorithmus. "Ich entschied, dass etwas gebaut werden muss, um etwas zu verstehen", sagt er. Dem reduktionistischen Ansatz der Physiker folgend plant er, einfache Computermodelle des Gehirns mit verschiedenen Lernalgorithmen zu erstellen und zu sehen, "welche funktionieren werden", sagt Hinton, der teilweise als Professor für Informatik an der Universität Toronto und teilweise bei Google arbeitet.

Bild
Neuronale Multilayer-Netzwerke bestehen aus Schichten künstlicher Neuronen mit gewichteten Verbindungen zwischen ihnen. Die eingehenden Daten werden durch Schichten an die Signalkaskade gesendet, und der Algorithmus bestimmt die Änderung der Gewichte jeder Verbindung.

In den 1980er und 1990er Jahren erfand Hinton, der Ur-Ur-Ur-Ur-Urenkel der George-Buhl-Logik des 19. Jahrhunderts, deren Arbeit die Grundlage der modernen Informatik bildete, mehrere Algorithmen für maschinelles Lernen. Algorithmen, die steuern, wie ein Computer aus Daten lernt, werden in Computermodellen verwendet, die als „künstliche neuronale Netze“ bezeichnet werden - das Netz miteinander verbundener virtueller Neuronen, die Signale an ihre Nachbarn übertragen, ein- oder ausschalten oder „ausgelöst“ werden. Wenn Daten in das Netzwerk eingespeist werden, führt dies zu einer Kaskade von Positiven. Basierend auf dem Bild dieser Positiven wählt der Algorithmus die Gewichtung von Verbindungen oder Synapsen zwischen jedem Neuronenpaar.

Viele Hinton-Computermodelle sind seit Jahrzehnten verschwunden. Dank der Fortschritte bei der Prozessorleistung, beim Verständnis des Gehirns und bei Algorithmen spielen neuronale Netzwerke jedoch eine immer größere Rolle in der Neurowissenschaft. Sejnowski, Leiter des Computational Laboratory of Neurobiology am Institut für biologische Forschung. Salk in La Jolie (Kalifornien) sagt: „Vor dreißig Jahren hatten wir sehr grobe Ideen. Jetzt fangen wir an, einige von ihnen zu überprüfen. “

Gehirnmaschinen


Hintons frühe Versuche, das Gehirn zu reproduzieren, waren begrenzt. Computer könnten ihre Lernalgorithmen in kleinen neuronalen Netzwerken ausführen, aber die Modellskalierung überlastete die Prozessoren sehr schnell. Im Jahr 2005 entdeckte Hinton, dass der Prozess effizienter wird, wenn die neuronalen Netzwerke in Schichten unterteilt werden und die Algorithmen auf jeder Schicht separat ausgeführt werden, wobei die Struktur und die Entwicklung des Gehirns ungefähr wiederholt werden.

Obwohl Hinton seine Entdeckung in zwei berühmten Zeitschriften veröffentlicht hat"Zu dieser Zeit waren neuronale Netzwerke aus der Mode gekommen, und es" mühte sich, die Menschen zu interessieren ", sagte Li Deng, ein leitender Forscher bei Microsoft Research. Deng kannte Hinton jedoch und entschied sich 2009, seine Methode des „Deep Learning“ auszuprobieren, um sein Potenzial schnell zu erkennen. In den folgenden Jahren werden in einer wachsenden Anzahl von Anwendungen Lernalgorithmen in der Praxis verwendet, beispielsweise der persönliche Assistent von Google Now oder die Sprachsuchfunktion auf Microsoft Windows-Telefonen.

Einer der vielversprechendsten Algorithmen, die Boltzmann-Maschine, ist nach dem österreichischen Physiker Ludwig Boltzmann aus dem 19. Jahrhundert benannt, der die Physik-Abteilung entwickelte, die sich mit einer großen Anzahl von Teilchen befasst, die als statistische Mechanik bezeichnet wird. Boltzmann entdeckte eine Gleichung, die die Wahrscheinlichkeit angibt, dass ein molekulares Gas mit einer bestimmten Energie vorhanden ist, wenn es das Gleichgewicht erreicht. Wenn Sie die Moleküle durch Neuronen ersetzen, neigt das Ergebnis zur gleichen Gleichung.

Die Netzwerksynapsen beginnen mit einer zufälligen Verteilung der Gewichtungen, und die Gewichtungen werden nach einem relativ einfachen Verfahren schrittweise angepasst: Das erzeugte Antwortmuster beim Erfassen von Daten durch die Maschine (wie Bilder oder Töne) wird mit dem Zufallsantwortmuster der Maschine verglichen, das auftritt, wenn keine Daten eingegeben werden.

Bild
Geoffrey Hinton glaubt, dass der beste Weg, die Lernprozesse im Gehirn zu verstehen, darin besteht, Computer zu bauen, die auf dieselbe Weise lernen.

Jede virtuelle Synapse verfolgt beide statistischen Sätze. Wenn die Neuronen, die sie verbinden, beim Empfangen von Daten häufiger in enger Reihenfolge auslösen als während des zufälligen Betriebs, steigt das Gewicht der Synapse um eine der Differenz proportionale Größe. Wenn zwei Neuronen jedoch häufiger während eines zufälligen Betriebs zusammenarbeiten, wird die Synapse, die sie verbindet, als zu stark und geschwächt angesehen.

Die am häufigsten verwendete Version der Boltzmann-Maschine funktioniert am besten nach dem "Workout" und überarbeitet Tausende von Datenbeispielen nacheinander auf jeder Schicht. Zunächst empfängt die untere Schicht des Netzwerks Rohdaten in Form von Bildern oder Tönen. In der Art von Netzhautzellen funktionieren Neuronen, wenn sie Kontraste in ihrem Datenbereich erkennen, z. Ihr Auslösen kann die Aktivierung von mit ihnen verbundenen Neuronen auslösen, abhängig von dem Gewicht der sie verbindenden Synapse. Da das Triggern von Paaren virtueller Neuronen ständig mit Hintergrundstatistiken verglichen wird, treten allmählich bedeutsame Verbindungen zwischen den Neuronen auf und verstärken sich. Die Gewichte der Synapsen werden verfeinert und die Kategorien von Sounds und Bildern werden in die Verbindungen eingebettet. Jede nachfolgende Schicht wird auf ähnliche Weise mit Daten aus der darunterliegenden Schicht trainiert.

Wenn Sie ein Fahrzeugbild eines neuronalen Netzwerks speisen, das darauf trainiert ist, bestimmte Objekte in Bildern zu erkennen, funktioniert die unterste Ebene, wenn sie einen Kontrast erkennt, der ein Gesicht oder einen Endpunkt angibt. Diese Signale werden zu höheren Neuronen durchgelassen, die Winkel, Teile von Rädern usw. definieren. In der oberen Ebene werden Neuronen nur als Reaktion auf das Bild des Autos ausgelöst.

"Die Magie dessen, was im Internet geschieht, ist, dass es verallgemeinern kann", sagt Yann LeCun, Direktor des Center for Data Science der New York University. "Wenn Sie ihr ein Auto zeigen, das sie zuvor noch nicht gesehen hat, und wenn das Auto einige Formen und Merkmale aufweist, die den Autos, die ihr während des Trainings gezeigt werden, gemeinsam sind, kann sie feststellen, dass dies ein Auto ist."

Neuronale Netzwerke haben ihre Entwicklung in letzter Zeit durch den Hinton-Multilayer-Modus, die Verwendung von Hochgeschwindigkeits-Computerchips für die Grafikverarbeitung und die explosionsartige Zunahme der Anzahl von Bildern und der Sprachaufzeichnung, die für das Training verfügbar sind, beschleunigt. Netzwerke können 88% der Wörter auf Englisch richtig erkennen, während die durchschnittliche Person 96% erkennt. Sie können Autos und Tausende von anderen Objekten in Bildern mit ähnlicher Genauigkeit identifizieren und haben in den letzten Jahren eine dominierende Position bei Wettbewerben im Bereich des maschinellen Lernens eingenommen.

Ein Gehirn aufbauen


Niemand kann die Regeln, nach denen das Gehirn trainiert wird, direkt herausfinden, aber es gibt viele indirekte Übereinstimmungen zwischen dem Verhalten des Gehirns und der Boltzmann-Maschine.

Beide werden ohne Aufsicht trainiert und verwenden nur die Muster, die in den Daten vorhanden sind. "Ihre Mutter erzählt Ihnen nicht Millionen Mal, was auf dem Bild zu sehen ist", sagt Hinton. - Sie müssen lernen, Dinge ohne den Rat von anderen zu erkennen. Nachdem Sie die Kategorien gelesen haben, werden Sie über die Namen dieser Kategorien informiert. Die Kinder lernen so etwas über Hunde und Katzen, und dann erfahren sie, dass Hunde "Hunde" und Katzen "Katzen" genannt werden.

Das Gehirn des Erwachsenen ist nicht so flexibel wie das junge, so wie sich die Boltzmann-Maschine, die auf 100.000 Bilder von Autos trainiert hat, nicht viel ändern wird, wenn sie eine andere sieht. Ihre Synapsen haben bereits die notwendigen Gewichte für die Kategorisierung von Autos festgelegt. Aber das Lernen endet nicht dort. Neue Informationen können in die Struktur des Gehirns und der Boltzmann-Maschine integriert werden.

In den letzten zwei Jahrzehnten hat die Untersuchung der Gehirnaktivität in einem Traum den ersten Beweis dafür geliefert, dass das Gehirn einen Boltzmann-ähnlichen Algorithmus verwendet, um neue Informationen und Erinnerungen in seine Struktur zu integrieren. Neurowissenschaftler wissen seit langem, dass der Schlaf eine wichtige Rolle bei der Gedächtniskonsolidierung spielt und zur Integration neuer Informationen beiträgt. 1995 schlugen Hinton und seine Kollegen vorDieser Schlaf spielt die Rolle des Basisniveaus im Algorithmus und bezeichnet die Aktivität von Neuronen in Abwesenheit von Eingangsdaten.

"Während des Schlafes können Sie nur die Grundfrequenz der Neuronen herausfinden", sagt Hinton. - Sie finden den Zusammenhang ihrer Arbeit in dem Fall heraus, in dem das System von selbst arbeitet. Und dann, wenn die Neuronen mehr korrelieren, erhöhen Sie einfach die Gewichte zwischen ihnen. . Und wenn es weniger ist, das Gewicht reduzieren „

Auf der Ebene der Synapsen“ , kann der Algorithmus auf verschiedenen Wegen erreicht werden „, - sagte Sezhnovski, Präsidialverwaltung Berater innerhalb der BRAIN Initiative , Forschung mit einem Zuschuss von $ 100 Millionen, zielte auf ein neues Gehirn Studie Engineering zu entwickeln.

Er sagt : Es ist am einfachsten für das Gehirn, mit dem Boltzmann-Algorithmus zu arbeiten und von Tag zu Tag Synapsen aufzubauen und nachts zu reduzieren.Giulio Tononi , Leiter des Zentrums für Schlaf- und Bewusstseinsforschung an der University of Wisconsin-Madison, fand heraus, dass die Genexpression in Synapsen diese Hypothese ändert: Gene, die am Synapsenwachstum beteiligt sind, sind tagsüber aktiver und Gene, die an einer Kontraktion beteiligt sind Synapsen - in der Nacht.

Alternativ kann "die Basislinie in einem Traum berechnet werden, und dann können Änderungen relativ dazu während des Tages vorgenommen werden", sagt Seznovski. In seinem Labor werden detaillierte Computermodelle für Synapsen und ihre unterstützten Netzwerke erstellt, um zu bestimmen, wie sie Wachsamkeits- und Schlafstatistiken erfassen und wann sich die Leistungsfähigkeit der Synapsen ändert, um diesen Unterschied widerzuspiegeln.

Gehirnprobleme


Bild
Bild der Netzhaut, auf der verschiedene Zelltypen durch unterschiedliche Farben angezeigt werden. Die farbempfindlichen (violett) sind mit der Horizontalen (orange) verbunden, die mit dem bipolaren (grün) und die mit den Zellen der Netzhaut und des Ganglions (violett) verbunden sind.

Der Boltzmann-Algorithmus kann sich als einer von vielen im Gehirn zur Anpassung von Synapsen erweisen. In den 1990er Jahren entwickelten mehrere unabhängige Gruppen ein theoretisches Modell, wie das visuelle System den Informationsfluss zur Netzhaut effektiv kodiert. Die Theorie postulierte, dass in den unteren Schichten des visuellen Kortex, ähnlich wie bei der Bildkompression, ein Prozess der "Streukodierung" stattfindet, mit dem Ergebnis, dass die späteren Stadien des visuellen Systems effizienter arbeiten.

Die Vorhersagen des Modells bestehen nach und nach immer strengere Tests. In ArbeitVon PLOS Computational Biology herausgegeben, fanden Computer-Neurowissenschaftler aus Großbritannien und Australien heraus, dass neuronale Netzwerke, die den von Hinton im Jahr 2002 erfundenen Algorithmen für Produkte von Experten verwenden, die gleichen ungewöhnlichen visuellen Daten verarbeiten, die lebende Katzen erhalten Zum Beispiel untersuchen Katzen und neuronale Netzwerke gestreifte Bilder, ihre Neuronen erzeugen fast identische ungewöhnliche Verbindungen.

"Zu dem Zeitpunkt, an dem die Informationen den visuellen Kortex erreichen, präsentiert das Gehirn, so glauben wir, diese als verstreuten Code", sagt Bruno Olshausen, ein rechnergestützter Neurowissenschaftler und Direktor des Redwood Center für Theoretische Neurobiologie an der University of California-Berkeley gestreute Kodierungstheorie. "Es ist, als würde Boltzmanns Maschine in Ihrem Kopf sitzen und versuchen, die Verbindungen zwischen den Elementen des verstreuten Codes zu verstehen."

Olshausen und das Team nutzten die neuronalen Netzwerke der höheren Schichten des visuellen Kortex, um zu zeigen, wie das Gehirn trotz der Bewegung von Bildern eine stabile Wahrnehmung des visuellen Inputs aufrechterhalten kann. In einer anderen StudieSie fanden heraus, dass die Aktivität von Neuronen im visuellen Kortex von Katzen, die einen Schwarzweißfilm beobachteten, von der Boltzmann-Maschine sehr gut beschrieben wird.

Eine der möglichen Anwendungen dieser Arbeit ist die Schaffung von Neuroprothesen, beispielsweise einer künstlichen Netzhaut. Wenn Sie verstehen, wie „Informationen im Gehirn formatiert werden, können Sie verstehen, wie Sie das Gehirn anregen können, damit es den Eindruck erweckt, dass es das Bild sieht“, sagt Olshausen.

Seznowski sagt, dass das Verständnis der Algorithmen für das Wachsen und Verringern von Synapsen den Forschern die Möglichkeit gibt, sie zu ändern und zu untersuchen, wie das neuronale Netzwerk gestört ist. "Dann können sie mit den bekannten Problemen der Menschen verglichen werden", sagt er. - Fast alle psychischen Störungen können durch Probleme mit Synapsen erklärt werden. Wenn wir die Synapsen besser verstehen können, können wir verstehen, wie das Gehirn normal arbeitet, wie es Informationen verarbeitet, wie es lernt und was schief geht, wenn Sie beispielsweise Schizophrenie haben. “

Der Ansatz zur Untersuchung des Gehirns mit Hilfe neuronaler Netzwerke steht im krassen Gegensatz zu dem Ansatz des Human Brain Project]. Dies ist der angekündigte Plan des Schweizer Neurobiologen Henry Markram, mit einem Supercomputer eine genaue Simulation des menschlichen Gehirns zu erstellen. Im Gegensatz zum Hinton-Ansatz, der mit einem stark vereinfachten Modell beginnt und einen Weg der allmählichen Komplikation darstellt, möchte Markram sofort die größtmögliche Datenmenge bis hin zu den einzelnen Molekülen aufnehmen und hofft, dass er damit volle Funktionalität und Bewusstsein hat.

Das Projekt wurde von der Europäischen Kommission mit einem Betrag von 1,3 Milliarden US-Dollar gefördert. Hinton geht jedoch davon aus, dass diese Megasimulation fehlschlägt und zu viele bewegliche Teile enthält, die noch niemand versteht.

Außerdem glaubt Hinton nicht, dass das Gehirn nur durch seine Bilder verstanden werden kann. Solche Daten sollten verwendet werden, um Algorithmen zu erstellen und zu verfeinern. "Es erfordert theoretisches Denken und Studieren des Raums der Lernalgorithmen, um eine Theorie wie die Boltzmann-Maschine zu erstellen", sagt er. Der nächste Schritt für Hinton ist die Entwicklung von Algorithmen, um noch mehr hirnähnliche neuronale Netzwerke zu trainieren, so dass Synapsen Neuronen innerhalb einer einzelnen Schicht und nicht nur zwischen verschiedenen Schichten verbinden. "Das Hauptziel besteht darin, die Vorteile zu verstehen, die durch die komplizierten Berechnungen in jeder Phase erzielt werden können", sagt er.

Die Hypothese besagt, dass mehr Verbindungen zu einer Erhöhung der Rückholschleifen führen werden, die laut Olshausen dem Gehirn wahrscheinlich helfen, „die fehlenden Teile aufzufüllen“. Die höheren Schichten stören die Arbeit von Neuronen aus den unteren Schichten, die sich mit Teilinformationen befassen. „Alles ist eng mit dem Bewusstsein verbunden“, sagt er.

Das menschliche Gehirn ist immer noch viel komplexer als jedes Modell. Es ist größer, dichter, effizienter, hat mehr Verbindungen und komplexe Neuronen - und es arbeitet gleichzeitig mit mehreren Algorithmen. Olshausen weist darauf hin, dass wir etwa 15% der Aktivität des visuellen Cortex verstehen. Obwohl sich die Modelle weiterentwickeln, ist die Neurowissenschaft immer noch "ähnlich wie die Physik vor Newton", sagt er. Dennoch ist er zuversichtlich, dass der Prozess, auf der Grundlage dieser Algorithmen zu arbeiten, eines Tages das Haupträtsel des Gehirns erklären kann - wie die Daten der Sinne in einen subjektiven Realitätssinn umgewandelt werden. Das Bewusstsein, sagt Olshausen, "ist etwas, das aus der Realität hervorgeht, eine sehr komplexe Boltzmann-Maschine."

Jetzt auch beliebt: