Nutzt unser Gehirn eine Tiefe Ausbildung für das Verständnis der Welt?

Sofort, als Dr. Blake Richards hörte eine Tiefe Lehre, erkannte er, daß er nicht nur mit einer Methode, die künstliche Intelligenz revolutioniert. Er erkannte, dass sieht etwas Grundsätzliches vom Gehirn des Menschen. Es war Anfang der 2000er Jahre, und Richards leitete den Kurs an der University of Toronto zusammen mit Jeff Хинтоном. Хинтону, das Stand an den Ursprüngen der Entwicklung des Algorithmus, die Welt zu erobern, bot Lesen Einführungskurs über seine Trainingsmethode, вдохновленном durch das menschliche Gehirn.

Stichworte sind hier «вдохновленном Gehirn». Trotz Richards überzeugung, die Wette gegen ihn gespielt. Das menschliche Gehirn, wie sich herausstellte, hat eine wichtige Funktion, die programmiert wird in Deep-learning-algorithmen. Auf der Oberfläche diese algorithmen gegen die zugrunde liegenden biologischen Tatsachen, bereits nachgewiesene, waren Neurowissenschaftler.

Aber was ist, wenn ein tiefes lernen und das Gehirn tatsächlich kompatibel?

Und hier, in der neuen Studie, in eLife veröffentlicht, Richards, arbeiten mit DeepMind, ein neuer Algorithmus vorgeschlagen, basierend auf der biologischen Struktur von Neuronen im Neokortex. Kortex, die Großhirnrinde, ist die Heimat der höheren kognitiven Funktionen wie logisches denken, Antizipation und flexibles denken.

Das Team brachte Ihre künstliche Neuronen in ein abgestuftes Netzwerk und hat vor Ihr die Aufgabe der klassischen Computer-Vision — Kennzeichnen handgeschriebenen Ziffern.

Ein Neuer Algorithmus sehr gut zurechtgekommen. Aber was wichtig ist: er Analysierte Beispiele für den Unterricht, wie es von Deep-learning-algorithmen, gebaut aber wurde komplett auf die grundlegende Biologie des Gehirns.

«das Tiefe Studium in der biologischen Struktur», schlossen die Wissenschaftler.

Da im Moment dieses Modell ist eine computervariante, Richards hofft übergeben den Staffelstab experimentell нейробиологам, die überprüfen könnten, ob ein solcher Algorithmus in einem echten Gehirn.

Wenn ja, die Daten können übertragen werden die Computer-Wissenschaftler für die Entwicklung von Massiv parallelen und effektiven algorithmen, auf denen unsere Maschinen arbeiten. Dies ist der erste Schritt in Richtung Verschmelzung der beiden Bereiche in «tugendhafte Reigen» Entdeckungen und Innovationen.

Suche nach Sündenbock

Obwohl Sie sicherlich davon gehört, dass die künstliche Intelligenz kürzlich gegen die besten der besten im th, werden Sie kaum wissen, wie genau funktionieren die algorithmen die Grundlage dieser künstlichen Intelligenz.

Auf den Punkt gebracht, eine Tiefe Ausbildung basiert auf einem künstlichen neuronalen Netzwerk mit virtuellen «Neuronen». Wie der höchste Wolkenkratzer, das Netzwerk in einer Hierarchie strukturiert: Low-Level-Neuronen verarbeiten die Eingabe — zum Beispiel horizontale oder vertikale Striche, bilden Sie die Ziffer 4, — und High-Level-Neuronen verarbeiten abstrakte Aspekte 4 Ziffern.

Netz Zu trainieren, geben Sie Ihr Beispiele, was Sie suchen. Das Signal erstreckt sich über das Netzwerk (steigt die Treppe des Gebäudes), und jedes Neuron versucht, daraus etwas Grundsätzliches in der Arbeit des Quartetts.

Wie Kinder lernen, zuerst das Netz nicht sehr gut meistert. Es gibt alles, was, Ihrer Meinung nach, wie die Zahl von vier — und ergeben sich Bilder im Geiste Picassos.

Aber genau so verläuft die Ausbildung: der Algorithmus vergleicht die Ausgabe mit der perfekten Eingabe und berechnet den Unterschied zwischen den beiden (sprich: Fehler). Fehler «wieder gelten» über das Netzwerk, indem er jedes Neuron, vermutlich ist es nicht das, was Sie suchen, suchen Sie besser.

Nach Millionen von Beispielen und Wiederholungen, das Netzwerk beginnt zu arbeiten tadellos.

Ein Fehler ist äußerst wichtig für die Ausbildung. Ohne effektive «Reverse Verbreitung der Fehler» Netzwerk nicht wissen, welche Ihrer neuronalen falsch. Auf der Suche nach einem Sündenbock künstliche Intelligenz verbessert sich.

Das Gehirn tut das auch. Aber wie? Wir haben keine Ahnung.

Biologische Sackgasse

Offensichtlich mehr: die Lösung mit einer tiefen Ausbildung nicht funktioniert.

Backpropagation Fehler — eine extrem wichtige Funktion. Es erfordert eine bestimmte Infrastruktur für die korrekte Arbeit.

Erstens, jedes Neuron im Netz muss erhalten eine Fehlermeldung. Aber die Neuronen im Gehirn verbunden sind, nur mit mehreren Partnern auf den absteigenden Strömung (wenn überhaupt verbunden). Um Backpropagation funktionierte im Gehirn, die Neuronen auf der ersten Ebene müssen wahrnehmen, die Informationen von Milliarden verbindungen in Downstream-Kanälen — und das ist biologisch unmöglich.

Und obwohl einige Deep-learning-algorithmen passen die lokale Form eines umgekehrten Verteilung Fehler — im wesentlichen zwischen den Neuronen — Sie verlangt, dass Sie die Verbindung nach vorne und hinten symmetrisch war. In den Synapsen des Gehirns dies nicht geschieht fast nie.

Modernere algorithmen passen einige andere Strategie, Umsetzung separate Pfad Feedback, das hilft, die Neuronen lokal, Fehler zu finden. Obwohl es eher biologisch realisierbar, hat das Gehirn kein eigenes Rechnernetz, gewidmet der Suche nach sündenböcken.

Aber es gibt Neuronen mit komplexen Strukturen, im Gegensatz zu homogenen «Kugeln», die derzeit gelten in den tiefen der Ausbildung.

Verzweigte Netzwerk

Wissenschaftler nehmen Ihre Inspiration aus Pyramidenzellen, die den Kortex des menschlichen Gehirns.

«die Meisten dieser Neurone sind in der Form von Bäumen, deren Wurzeln tief gehen ins Gehirn, und die «äste» an die Oberfläche kommen», sagt Richards. «Bemerkenswert ist, dass die Wurzeln bekommen ein DataSet-Eingaben und andere Zweige».

Neugierig, aber die Struktur der Neuronen ist oft «genau so, wie man» für eine effektive LösungComputing-Aufgaben. Nehmen Sie zum Beispiel die Verarbeitung von Empfindungen: die Böden der pyramidenförmigen Neuronen befinden sich dort, wo er muss für den Erhalt der Touch-Eingabe, und die Spitzen sind bequem für die übertragung Fehler über das Feedback.

Ob diese komplexe Struktur sein evolutionär Lösung zur Bekämpfung der falsche Signal?

Wissenschaftler haben in mehrschichtigen neuronalen Netzwerks auf der Grundlage der bisherigen algorithmen. Aber anstelle von homogenen Neuronen, Gaben Sie Ihr Neuronen der mittleren Schichten — festgeklemmte zwischen ein-und Ausgang — ähnlich der Gegenwart. Während seines Studiums an handgeschriebenen zahlen, Algorithmus zeigte sich viel besser als einlagiges Netz, trotz des Fehlens der klassischen Reverse-Verteilung Fehler. Zellstrukturen selbstständig Fehler erkennen können. Dann, im richtigen Moment, Neuron vereinen beide Informationsquelle für die Suche nach der besten Lösung.

In diesem gibt es eine biologische Basis: Neurobiologen seit langem wissen, dass die Eingabe Zweige des Neurons führen lokale Berechnungen, die integrieren können, mit inversen Signalen Ausbreitung Fehler von ästen Ausgabe. Aber wir wissen nicht, ob so funktioniert das Gehirn eigentlich — so Richards beauftragte нейробиологам herauszufinden.

Darüber hinaus ist dieses Netzwerk behandelt das Problem, wie die traditionelle Methode der Deep-learning-Weise: verwendet eine mehrschichtige Struktur für die Extraktion nach und nach mehr abstrakten Ideen über jedes auch.

«Es ist ein Merkmal Deep learning», erklären die Autoren.

Tief ausgebildet das Gehirn

Ohne Zweifel, in dieser Geschichte wird mehr unerwartete Wendungen, weil Computer-Wissenschaftler machen immer mehr biologische Details in den KI-algorithmen. Richards und sein Team betrachten die prognostische Funktion von oben nach unten, wenn die Signale mit den höheren Ebenen direkt beeinflussen, wie die unteren Ebenen reagieren auf die Eingabe.

Kontakt mit den höheren Ebenen verbessert nicht nur die Signalisierung von Fehlern; es kann auch ermutigen Neuronen des niedrigen Standes der Verarbeitung laufen «besser» in Echtzeit, sagt Richards. Solange das Netzwerk nicht übertroffen andere небиологические Deep-learning-Netzwerk. Aber das ist nicht wichtig.

«Ein Training hat einen enormen Einfluss auf die KI, aber bis heute seine Auswirkungen auf die Neurologie war begrenzt», sagen die Autoren der Studie. Jetzt haben Neurowissenschaftler Grund, wird eine experimentelle überprüfung und herauszufinden, ob die Struktur der Neuronen in der Basis von Deep-learning-Algorithmus. Vielleicht in den nächsten zehn Jahren wird für beide Seiten vorteilhaften Austausch von Daten zwischen waren Neurowissenschaftler und Forscher der künstlichen Intelligenz.