Comme il y avait des réseaux de neurones?

Au cours des 10 dernières années, grâce à la méthode dite d'un apprentissage en profondeur, nous avons obtenu les meilleurs systèmes d'intelligence artificielle — par exemple, les systèmes de reconnaissance de la parole de smartphones ou le dernier traducteur automatique de Google. Profonde de la formation, en fait, est devenu le nouveau fil du déjà célèbre des réseaux neuronaux, qui entraient dans la mode et viennent depuis plus de 70 ans. Pour la première fois, les réseaux de neurones ont proposé de Warren Mccullough et Walter Pitts en 1994, deux chercheurs de l'université de Chicago. En 1952, ils sont passés à travailler dans le Massachusetts institute of technology, pour jeter les bases de la première chaire когнитологии.

Les réseaux de Neurones ont été l'un des principaux domaines de recherche comme la neurobiologie et de l'informatique jusqu'en 1969, quand, si on en croit la légende, leur fini mathématiques Mit Marvin Minsky et Seymour Паперт, qui après un an d'acier соруководителями d'un nouveau laboratoire d'intelligence artificielle du MIT.

La Renaissance de cette méthode a connu dans les années 1980, un peu disparu dans l'ombre au cours de la première décennie du nouveau siècle, et par une fanfare de retour dans le second, sur la crête de la incroyable développement de puces graphiques et de leurs manufacturière de puissance.

«Il y a une opinion que les idées dans la science — c'est que l'épidémie de virus», explique Tomaso Poggio, professeur когнитологии et la science du cerveau au MIT. «Il semble, cinq ou six principales souches de virus de la grippe, et l'un d'eux revient avec enviable à des intervalles de 25 ans. Les gens sont infectés, d'acquérir l'immunité et ne souffrent les 25 prochaines années. Puis apparaît une nouvelle génération qui est prête à contracter la même souche du virus. En science, même les gens tombent en amour, dans l'idée, elle a tous les fous, puis battus à mort et acquièrent une immunité à se lasser de lui. J'idées doit être semblable à une périodicité».

Lourdes questions

Les réseaux de Neurones sont un moyen d'apprentissage, lorsque l'ordinateur apprend à effectuer certaines tâches, en analysant d'entraînement, des exemples. Généralement, ces exemples manuellement marqués à l'avance. Le système de reconnaissance d'objets, par exemple, peut absorber des milliers d'images étiquetées voitures, des maisons, des tasses à café et ainsi de suite, et ensuite être capable de trouver des images de ces images, qui sont toujours en corrélation avec certaines marques.

Un réseau de neurones est souvent comparé avec le cerveau humain, dans lequel aussi il ya un tel réseau est composé de milliers ou de millions de simples traitant de nœuds, qui sont étroitement liés. La plupart des réseaux de neurones sont organisés en couches de nœuds, et les données passent par eux dans une seule direction. Un hôte peut être associé à un ou plusieurs nœuds dans la couche sous lui, dont il reçoit des données, et plusieurs nœuds dans la couche au-dessus, à qui il transmet les données.

Chacun de ces liens entrants nœud attribue un numéro — le «poids». Lorsque le réseau est actif, un site reçoit de différents ensembles de données différents nombres de chacun de ces composés et multiplie sur le poids. Ensuite, il résume les résultats, formant un nombre. Si ce nombre est inférieur à un seuil, le nœud ne transmet les données à la couche suivante. Si le nombre dépasse la valeur de seuil, le nœud est «activé», en envoyant le nombre est la somme pondérée des entrées de données sur toutes les connexions sortantes.

Lorsque le réseau neuronal de l'exercice, de tout son poids et les seuils sont initialement définis dans un ordre aléatoire. D'entraînement, des données sont servis dans la couche d'entrée et passent à travers les couches suivantes, умножаясь et суммируясь de manière complexe, jusqu'à ce que, enfin, n'arrivent déjà convertis, dans la couche de sortie. Lors de la formation de poids et les seuils s'adaptent en permanence, tandis que d'entraînement, des données avec des repères identiques ne seront pas de donner des conclusions similaires.

l'Esprit et de la machine

Les réseaux de Neurones, décrites Mccullough et Pitts en 1944, ont eu et seuils, et de poids, mais n'ont pas été disposés par couches, et les scientifiques n'ont posé aucun mécanisme spécifique de formation. Mais Mccullough et Pitts ont montré que le réseau neuronal pourrait, en principe, de calculer n'importe quelle fonction, comme n'importe quel numérique par ordinateur. Le résultat était plus du domaine de la neurobiologie, de l'informatique: il était nécessaire de supposer que le cerveau humain peut être considéré comme un appareil informatique.

Les réseaux de Neurones continuent d'être un outil précieux pour neurobiologiques de la recherche. Par exemple, les différentes couches d'un réseau ou des règles de configuration de la balance et des seuils de se reproduire caractéristiques observées humaine neuroanatomie et les fonctions cognitives, et donc touché que le cerveau traite l'information.

La Première formée de réseaux de neurones, «Перцептрон» (ou «Персептрон»), a été démontrée par un psychologue de l'université Cornell Franc Розенблаттом en 1957. La conception de la «Перцептрона» était comme un moderne, un réseau de neurones, à l'exception du fait qu'il a une couche avec réglage de la balance et des seuils, coincé entre l'entrée et la sortie des couches.

«Перцептроны» activement penchés sur la psychologie et l'informatique jusqu'en 1959, quand Minsky et Паперт publié un livre intitulé «Перцептроны», qui a montré qu'une œuvre tout à fait ordinaires de calcul sur персептронах était impraticable en termes de temps.

«bien Sûr, toutes les contraintes disparaissent, si la machine est un peu plus complexe», par exemple, à deux couches, dit Poggio. Mais à l'époque, le livre a eu un effet dissuasif sur l'étude des réseaux neuronaux.

«Ces choses sont à considérer dans le contexte historique»,dit Poggio. «La preuve a été construit pour la programmation dans des langages comme Lisp. Peu de temps avant cela, les gens tranquillement utilisé des ordinateurs analogiques. N'était pas tout à fait clair à ce moment, à quoi aboutira la programmation. Je pense, ils sont un peu exagérées, mais, comme toujours, on ne peut pas diviser tout en noir et blanc. Si l'on considère cela comme une compétition entre l'analogique sur le calcul numérique et le calcul, alors ils se sont battus, qu'il faut».

Fréquence

Dans les années 1980, cependant, les chercheurs ont développé des algorithmes pour la modification de la balance des réseaux neuronaux et les seuils qui ont été assez efficaces pour les réseaux avec plus d'une couche, en éliminant beaucoup de restrictions, certaines Minsky et Папертом. Cette zone a connu une Renaissance.

Mais raisonnables d'un point de vue dans les réseaux neuronaux manquait quelque chose. Il suffit de longue durée de l'exercice pourrait conduire à une révision des paramètres de réseau, jusqu'à ce qu'elle commence à classer les données d'une manière utile, mais que ces paramètres signifient? Quelles sont les caractéristiques de l'image regarde la reconnaissance d'objets et comment il les rassemble par les parties, afin de former des visuels de la signature des machines, des maisons et des tasses de café? L'étude des poids individuels des connexions ne donnera pas la réponse à cette question.

Au cours des dernières années, ordinateur, les scientifiques ont commencé à inventer des méthodes ingénieuses pour déterminer l'analyse des stratégies adoptées нейронными réseaux. Mais dans les années 1980, la stratégie de ces réseaux ont été incompréhensibles. Par conséquent, au début du siècle, les réseaux de neurones ont été expulsés de vecteurs machines, une approche alternative aux machines de formation, basé sur la pure et élégante en mathématiques.

Le Récent regain d'intérêt aux réseaux neuronaux — révolution en profondeur de la formation — tenu de l'industrie des jeux informatiques. Complexe de la composante graphique et le rythme rapide des jeux vidéo actuels nécessite du matériel, qui sera en mesure de suivre la tendance, résultat le GPU (processeur graphique), avec des milliers de relativement simple de cœurs de traitement sur une seule puce. Très vite, les scientifiques ont compris que l'architecture du processeur graphique est parfait pour les réseaux de neurones.

Les processeurs graphiques a permis de construire un réseau de 1960 et à deux et à trois couches réseau des années 1980 dans les bouquets de 10, 15 et même 50 plis de réseau d'aujourd'hui. C'est ce que répond le mot «profond» dans la «profondeur de la formation. De la profondeur du réseau. À l'heure actuelle profonde de la formation est responsable de la plus efficace le système de presque tous les domaines de la recherche en intelligence artificielle.

Sous la capuche

L'Opacité des réseaux dérange encore des théoriciens, mais sur ce front ya des progrès. Poggio dirige le programme de recherche sur le thème des fondements théoriques de l'intelligence. Pas si longtemps, Poggio et ses collègues ont publié l'étude théorique des réseaux neuronaux en trois parties.

La Première partie, qui a été publié le mois dernier dans l'International Journal of Automation and Computing, adressé à la plage de calcul, qui peuvent procéder à un réseau d'un apprentissage en profondeur, et quand profondes du réseau ont un avantage sur le superficiel. Les parties deux et trois, qui ont été publiées sous la forme de rapports, s'adressent à des problèmes d'optimisation globale, c'est-à garantir que le réseau sera de trouver les réglages qui conviennent le mieux à ses les données d'apprentissage, ainsi que des cas, lorsque le réseau est tellement bien conscient de la spécificité de formation de ses données, ce qui ne peut pas généraliser à d'autres manifestations de ces mêmes catégories.

Encore beaucoup de questions théoriques, les réponses à donner. Mais il est à espérer que les réseaux de neurones peuvent enfin, pour briser le cycle des générations, qui entraînent leur chaud, à froid.