Wie es neuronale Netze?

In den letzten 10 Jahren, durch die Technik des sogenannten Deep learning, wir haben die besten Systeme der künstlichen Intelligenz — zum Beispiel, Merkmale aktiviert ist die Rede auf Smartphones oder Letzte automatische Google übersetzer. Tiefgreifende Ausbildung, in der Tat, wurde der neue in der bereits bekannten neuronalen Netzen, die sich in Mode und es ging seit über 70 Jahren. Zum ersten mal neuronale Netze angeboten Warren McCullough und Walter Pitts im Jahr 1994, zwei Forscher der University of Chicago. 1952 wechselten Sie arbeiten am Massachusetts Institute of Technology, um den Grundstein für einen der ersten Lehrstühle ab.

Neuronale Netze waren eine der Hauptrichtungen der Forschung wie in der Neurobiologie und informatik bis 1969, wenn, wenn Sie die Legende glauben, die Sie aus dem Weg Räumen Mathematik am Massachusetts Institute of Technology Marvin Мински und Seymour Паперт, die nach einem Jahr fingen соруководителями neuen Labor für künstliche Intelligenz des MIT.

Diese Methode die Wiederbelebung erlebte in den 1980er Jahren etwas in den Schatten verschwunden im ersten Jahrzehnt des neuen Jahrhunderts mit Fanfaren und kehrte in der zweiten, auf dem Kamm der unglaublichen Entwicklung der Grafikchips und deren Leistung der verarbeitenden.

«es Gibt die Meinung, dass die Ideen in der Wissenschaft — es ist wie eine Epidemie von Viren», sagt Tomaso Poggio, Professor ab und Neurowissenschaft am MIT. «Es gibt offenbar fünf oder sechs wichtigsten Stämme von Grippeviren, und einer von Ihnen kehrt mit der beneidenswerten Frequenz in 25 Jahren. Menschen zu erhalten, zu erwerben Immunität und nicht krank für die nächsten 25 Jahre. Dann erscheint die neue Generation, die bereit ist, durch Viren den gleichen Virusstamm. In der Wissenschaft gleichen Menschen verlieben sich in die Idee, Sie alle verrückt, und dann zu Tode geprügelt und erwerben Immunität zu Ihr — müde von Ihr. Bei den Ideen sollte eine solche Periodizität».

Gewichtige Fragen

Neuronale Netze sind eine Methode des maschinellen Lernens, wenn der Computer lernt einige Aufgaben durchführen, die Analyse der Trainings-Beispiele. In der Regel werden diese auch manuell im Voraus markiert werden. Das System der Erkennung von Objekten, Z. B. aufnehmen kann Tausende von beschrifteten Bildern von Autos, Häusern, Kaffeetassen und so weiter, und dann in der Lage, visuelle Bilder finden in diesen Bildern, die nacheinander korrelieren mit bestimmten Schlagwörtern.

Ein Neuronales Netzwerk wird oft verglichen mit dem menschlichen Gehirn, in dem auch solche Netze, bestehend aus tausenden oder Millionen von einfachen verarbeitenden Knoten, die eng miteinander verbunden sind. Die meisten modernen neuronalen Netzwerken organisiert in Schichten von Knoten und Daten sind durch Sie nur in eine Richtung. Separate Knoten verbunden sein kann mit mehreren Knoten in der Schicht unter ihm, aus der er Daten empfängt, und mehreren Knoten in der Schicht höher, in der er die Daten überträgt.

Jeder dieser eingehenden Knoten weist die Nummer — «Gewicht». Wenn das Netzwerk aktiv ist, wird der Knoten bekommt verschiedene Informationen — verschiedene zahlen — für jede dieser verbindungen multipliziert und auf das jeweilige Gewicht. Dann er fasst die daraus resultierenden Ergebnisse bilden eine einheitliche Zahl. Wenn diese Anzahl unter dem Schwellenwert liegen, wird der Knoten nicht überträgt die Daten in die nächste Schicht. Wenn die Zahl der Schwellenwert übersteigt, wird der Knoten «aktiviert», indem Sie die Zahl — die Summe der gewichteten Eingaben — auf alle ausgehenden verbindungen.

Wenn ein neuronales Netz trainiert, alle Ihr Gewicht und Schwellenwerte zunächst werden in zufälliger Reihenfolge wiedergegeben. Trainings-Daten werden in die untere Schicht — Eingangs — und durch die nachfolgenden Schichten, умножаясь und суммируясь komplizierten Weg, bis Sie schließlich ankommen, bereits umgewandelten, in der Ausgabe-Layer. Während Krafttraining und Schwellenwerte kontinuierlich angepasst, bis die Trainingsdaten mit den gleichen Etiketten werden nicht geben ähnliche Ergebnisse.

Geist und Maschine

Neuronale Netze beschrieben McCullough und Питтсом im Jahr 1944, hatten die Schwellenwerte und GEWICHTE, aber nicht in Schichten organisiert wurden, und die Wissenschaftler stellten keinen besonderen Mechanismus des Lernens. Aber McCullough und Pitts zeigten, dass ein neuronales Netz könnte im Prinzip eine beliebige Funktion berechnen, wie jeder digitale Computer. Das Ergebnis war mehr aus dem Bereich der Neurobiologie, informatik als: muss man davon ausgehen, dass das menschliche Gehirn kann als ein EDV-Gerät.

Neuronale Netze weiterhin ein wertvolles Instrument zur neurobiologischen Forschung. Zum Beispiel, die einzelnen Schichten von Netz-Regeln oder Einstellungen von gewichten und Schwellenwerten reproduzierten beobachtbare Merkmale der menschlichen Neuroanatomie und kognitiven Funktionen, was bedeutet, berührt davon, wie das Gehirn Informationen verarbeitet.

Die Erste trainierbar neuronales Netz, «Перцептрон» (oder «Персептрон»), gezeigt wurde, ist ein Psychologe der Cornell Universität Frank Розенблаттом im Jahr 1957. Design «Перцептрона» wurde ähnlich der modernen neuronalen Netzwerk, mit der Ausnahme, dass bei ihm wurde eine Schicht mit verstellbaren gewichten und Stromschnellen, eingekeilt zwischen dem Einlass und Auslass-Schichten.

«Перцептроны» aktiv in der Psychologie untersucht und informatik, bis 1959, als Мински und Паперт veröffentlicht ein Buch mit dem Titel «Перцептроны», die gezeigt hat, dass das Werk durchaus den gewöhnlichen Berechnungen auf персептронах war unpraktisch in Bezug auf den zeitlichen Aufwand.

«Natürlich, alle Einschränkungen wie würde verschwinden, wenn man etwas komplexeren Maschinen», zum Beispiel, in zwei Schichten», sagt Poggio. Aber während das Buch hatte abschreckende Wirkung auf die Erforschung neuronaler Netze.

«Diese Dinge steht in einem historischen Kontext zu betrachten»,sagt Poggio. «Der Beweis wurde für die Programmierung in Sprachen wie Lisp. Kurz vor diesem Menschen ruhig verwendeten Analog-Computer. Es war nicht klar zu diesem Zeitpunkt, was im Allgemeinen wird das Programmieren. Ich denke, Sie sind etwas übertrieben, aber, wie immer, nicht teilen alles in schwarz und weiß. Wenn man dies als Wettstreit zwischen analoger Berechnung und digitaler Berechnung, dann haben Sie gekämpft für das, was Sie brauchen.»

Periodizität

Zu den 1980er-Jahren, aber die Wissenschaftler entwickelten algorithmen zur Modifikation der GEWICHTE neuronaler Netze und Schwellenwerten, die effektiv genug waren für Netzwerke mit mehr als einer Schicht, wodurch viele Einschränkungen, bestimmte Мински und Папертом. Dieser Bereich erlebt eine Renaissance.

Aber mit vernünftigen Sicht in neuronalen Netzwerken etwas fehlte. Genügend lange übung könnte führen zu einer Revision der Netzwerkeinstellungen so lange, dass es beginnt mit der Klassifizierung der Daten nützlich, aber was diese Einstellungen bedeuten? Auf welche Merkmale des Bildes sieht Erkennung von Objekten und wie er sammelt Sie Stück für Stück, um eine visuelle Signatur von Maschinen, Häusern und Tassen Kaffee? Die Studie der GEWICHTE der einzelnen verbindungen lassen keine Antwort auf diese Frage.

In den letzten Jahren Computer-Wissenschaftler begannen zu erfinden ausgeklügelte Methoden zur Bestimmung von analytischen Strategien, angenommenen neuronalen Netzen. Aber in den 1980er Jahren die Strategie dieser Netzwerke waren unverständlich. So um die Jahrhundertwende neuronale Netze wurden durch den Vektor-Maschinen, Alternative Herangehensweise an machine learning, basierend auf einer sauberen und elegante Mathematik.

Der Jüngste Anstieg des Interesses an neuronaler Netzwerke — Deep-learning-Revolution — ist verpflichtet, die Computerspielbranche. Komplexe grafische Komponente und das schnelle Tempo der modernen Videospiel-Hardware erfordert, die in der Lage, Schritt zu halten mit dem Trend, wodurch ein Grafikprozessor (GPU) mit tausenden von relativ einfachen Verarbeitungs-Kerne auf einem einzigen Chip. Die Wissenschaftler erkannten sehr bald, dass die Architektur der GPU ist ideal für neuronale Netze.

Moderne GPUs erlaubt zu bauen das Netzwerk der 1960er Jahre und zwei - und drei-Schicht-Netzwerk der 1980er Jahre in Sträußen von 10-, 15 - und sogar 50-lagig Netzwerk heute. Hier ist verantwortlich für das, was das Wort «Tiefe» in den «tiefen der Lehre». Die Tiefe des Netzes. Derzeit tiefgreifende Ausbildung ist verantwortlich für die effizientesten Systeme in nahezu allen Forschungsbereichen der künstlichen Intelligenz.

Unter der Kapuze

Die Undurchsichtigkeit der Netze noch durch Theoretiker, sondern auch an dieser Front gibt es Fortschritte. Poggio leitet das Forschungsprogramm zum Thema der theoretischen Grundlagen der Intelligenz. Nicht so lange her, Poggio und seine Kollegen veröffentlichten eine theoretische Studie von neuronalen Netzen in drei teilen.

Der Erste Teil, der veröffentlicht wurde im letzten Monat im International Journal of Automation and Computing, adressiert Palette von Berechnungen, die Durchführung von Deep-learning-Netzwerk, und dem, wenn die Tiefe-Netzwerke haben Vorteile gegenüber flachen. Teil zwei und drei, die freigegeben wurden in Form von Vorträgen, adressiert die Probleme der globalen Optimierung, das heißt zu gewährleisten, dass die Netzwerk-Einstellungen zu finden, die am besten zu Ihrer Ausbilderin Daten, sowie die Fälle, wenn ein Netzwerk so gut versteht die Besonderheiten der ausbildenden Ihrer Daten, was nicht verallgemeinern kann andere Symptome dieselben Kategorien.

Es gibt noch eine Menge theoretischer Fragen, die Antworten auf die geben müssen. Aber es gibt Hoffnung, dass neuronale Netze in der Lage, endlich den Teufelskreis der Generationen, die stürzen wird Sie in der Hitze und in der Kälte.