Utilise-t-il notre cerveau profond de formation pour la compréhension du monde?

Immédiatement, quand le docteur Blake Richards entendu profond de formation, il a réalisé qu'il avait non seulement la méthode qui révolutionne l'intelligence artificielle. Il est entendu que, regarde sur quelque chose de fondamental du cerveau de l'homme. C'était le début des années 2000, et Richards passait cours à l'Université de Toronto avec Jeff Хинтоном. Хинтону, qui se tenait à l'origine de la création de l'algorithme, qui a conquis le monde, a proposé de lire un cours d'introduction à propos de sa méthode d'apprentissage, inspiré du cerveau humain.

Les mots-Clés ici «inspiré par le cerveau. En dépit de la conviction Richards, le taux a joué contre lui. Le cerveau de l'homme, comme il s'est avéré, n'a pas une fonction importante qui est programmé dans les algorithmes d'apprentissage profond. Sur la surface de ces algorithmes ont violé les principaux faits biologiques, déjà prouvés нейробиологами.

Mais, si profonde de la formation et le cerveau est en fait compatible?

Et voici, une nouvelle étude publiée dans eLife, Richards, en travaillant avec DeepMind, a proposé un nouvel algorithme basé sur la structure biologique des neurones dans le néocortex. Кортекс, l'écorce du cerveau, est à la maison pour les fonctions cognitives, telles que le raisonnement, la prévision et la souplesse de la pensée.

L'Équipe a combiné ses neurones artificiels à plusieurs niveaux de réseau, et a posé devant elle une tâche classique de la vision par ordinateur — déterminer manuscrites de chiffres.

Le Nouvel algorithme a géré parfaitement. Mais ce qui est important: il analysait les exemples pour l'apprentissage, à l'instar des algorithmes d'apprentissage profond, mais a été construit entièrement sur la biologie fondamentale du cerveau.

«plus de la formation est possible dans la structure biologique», ont conclu les chercheurs.

Car pour le moment ce modèle est une version ordinateur, Richards espère passer le relais à l'expérimentation, les neuroscientifiques, qui pourrait vérifier si un tel algorithme dans le réel du cerveau.

Si oui, les données peuvent être transmises informatique scientifique pour développer massivement parallèles et d'algorithmes efficaces pour exécuter nos machines. C'est la première étape vers la fusion des deux régions dans le «vertueux de la ronde» de la découverte et de l'innovation.

la Recherche du bouc émissaire

Bien que vous avez sûrement entendu parler de l'idée que l'intelligence artificielle a récemment battu le meilleur des meilleurs dans le siècle, vous ne savez pas exactement comment fonctionnent les algorithmes basés sur l'intelligence artificielle.

En deux mots, la plus profonde de l'enseignement est basé sur un réseau de neurones artificiels avec des «neurones». Comme haut gratte-ciel, le réseau est structuré dans la hiérarchie: les neurones de bas niveau traitent entrée — par exemple, horizontales ou verticales de tiret, formant le chiffre 4, et les neurones de haut niveau traitent abstract aspects des chiffres 4.

Afin de former un réseau, vous lui donnez des exemples de ce que vous cherchez. Le signal se propage par le réseau (monte les marches de l'escalier de l'immeuble), et chaque neurone essaie de voir quelque chose de fondamental dans le travail de «quartet».

Comment les enfants apprennent quelque chose de nouveau, d'abord, le réseau gère pas très bien. Elle signale que, à son avis, il semble sur le chiffre quatre et faire des images dans l'esprit de Picasso.

Mais c'est ainsi que coule la formation: l'algorithme de la mappe de la conclusion idéale d'entrée et calcule la différence entre eux (lire: des erreurs). Les erreurs «de retour s'appliquent» sur le réseau, enseignant, chaque neurone, disent-ils, ce n'est pas ce que vous cherchez, vous cherchez le meilleur.

Plus Tard, des millions d'exemples et de répétitions, le réseau commence à fonctionner impeccablement.

Le Signal d'erreur est extrêmement important pour l'éducation. Sans efficace «rétro-propagation de l'erreur» le réseau ne sera pas de savoir quels sont ses neurones se trompent. À la recherche d'un bouc émissaire intelligence artificielle améliore lui-même.

Le Cerveau est également il fait. Mais comment? Nous n'avons aucune idée.

Biologique de l'impasse

Il est Évident encore: la solution avec une profonde formation ne fonctionne pas.

L'Inverse de la propagation des erreurs est extrêmement importante fonction. Elle nécessite une certaine infrastructure pour fonctionner correctement.

Tout d'abord, chaque neurone du réseau doit recevoir un message d'erreur. Mais dans le cerveau, les neurones sont reliés seulement avec plusieurs partenaires en aval (si généralement assemblés). À l'inverse de la distribution a travaillé dans le cerveau, les neurones sur les premiers niveaux, doivent percevoir les informations de milliards de connexions descendantes canaux — et c'est biologiquement impossible.

Et bien que certains algorithmes d'apprentissage profond adaptent locale d'une forme de rétro-propagation de l'erreur — sur le fond entre les neurones — elle exige de leur connexion vers l'avant et l'arrière était symétrique. Dans les synapses du cerveau de tel ne se produit presque jamais.

Plus d'algorithmes d'adapter une stratégie quelque peu différente, en réalisant un chemin unique de la rétroaction, qui aide les neurones à trouver des erreurs au niveau local. Si c'est plus réalisable biologiquement, le cerveau ne dispose pas de réseau informatique, consacrée à la recherche de boucs émissaires.

Mais il a des neurones avec des structures complexes, à la différence de la homogènes «boules», qui s'appliquent actuellement dans le profond de la formation.

une Ramification du réseau

Les Scientifiques puisent leur inspiration dans des cellules pyramidales, qui remplissent l'écorce du cerveau de l'homme.

«la Plupart de ces neurones sont en forme d'arbres, leurs racines profondément partent dans le cerveau, et les «branches» remontent à la surface», a déclaré Richards. «Ce qui est remarquable, les racines reçoivent certains ensembles de données d'entrée, et les branches des autres.

Curieux, mais la structure des neurones souvent «juste comme il faut» pour une solution efficaceinformatique à la tâche. Prenez, par exemple, le traitement des sensations: le fond de neurones pyramidaux sont là où ils doivent, pour obtenir la saisie tactile, et les sommets sont idéalement situés pour les erreurs de transmission grâce à la rétroaction.

Si cette structure complexe pour être évolutive de la solution de lutte contre le faux signal?

Les Scientifiques ont créé un réseau de neurones multi-couches sur la base des algorithmes. Mais au lieu homogènes de neurones, ils l'ont donné à des neurones des couches intermédiaires coincés entre l'entrée et la sortie similaires sur les présentes. En apprenant sur des manuscrits des chiffres, l'algorithme est montré beaucoup mieux que monocouche réseau, malgré l'absence d'un classique de la rétro-propagation de l'erreur. La structure cellulaire de vous-même puissiez déterminer l'erreur. Puis, au bon moment, le neurone unissait les deux source d'information pour la recherche de la meilleure solution.

Dans une base biologique: les neuroscientifiques savent depuis longtemps que les branches d'un neurone effectuent des calculs locaux, qui peut intégrer des signaux de rétro-propagation des erreurs de branches de sortie. Mais nous ne savons pas si le cerveau fonctionne réellement — c'est pourquoi Richards a demandé neuroscientifiques le savoir.

De Plus, ce réseau gère un problème similaire à la méthode traditionnelle d'un apprentissage en profondeur de la manière: utilise la structure multi-couche pour extraire progressivement plus d'idées abstraites de chaque nombre.

«c'Est une caractéristique d'un apprentissage en profondeur», expliquent les auteurs.

Profondément l'apprenant cerveau

Sans doute, dans cette histoire aura plus de rebondissements, parce que les scientifiques apportent de plus en plus biologiques de détails dans les algorithmes d'IA. Richards et son équipe considèrent la fonction prédictive de haut en bas, lorsque des signaux à des niveaux plus élevés affectent directement à ce que des niveaux plus bas de réagir à l'entrée.

La rétroaction avec des niveaux supérieurs n'améliore pas seulement l'alarme d'erreur; elle peut également encourager les neurones de bas niveau de traitement de travailler «mieux» en temps réel, dit Richards. Jusqu'à ce que le réseau n'a pas dépassé les autres небиологические réseau d'un apprentissage en profondeur. Mais ce n'est pas important.

«plus de la formation a eu un impact énorme sur l'IA, mais jusqu'à aujourd'hui, son influence sur la neurologie a été limitée», disent les auteurs de l'étude. Maintenant, les neurobiologistes sera l'occasion de passer un test expérimental et d'apprendre est de savoir si la structure de neurones dans la base naturelle de l'algorithme d'apprentissage profond. Il est possible, dans les dix ans débutera réciproque à l'échange de données entre нейробиологами et les chercheurs en intelligence artificielle.