Hur gick det neurala nätverket?

Under de senaste 10 åren, på grund av den metod för så kallad djupinlärning, vi har de bästa artificiell intelligens system — till exempel tal-identifierare på smartphones eller den senaste automatisk översättare Google. Djupt lärande, i själva verket har blivit en ny trend i den redan kända neurala nätverk, som var på Modet och gick vidare för mer än 70 år. För första gången neurala nätverk föreslagna Warren McCullough och Walter Pitts 1994, två forskare från University of Chicago. 1952 de gick till jobbet vid Massachusetts Institute of technology, för att lägga grunden för den första Institutionen för kognitionsvetenskap.

Neurala nätverk var en av de viktigaste riktningar för studier i neurobiologi och datavetenskap fram till 1969, när, enligt legenden dödades av matematik Massachusetts Institute of technology Marvin Minsky och Seymour Papert som i år blev co-chefer i det nya laboratoriet för artificiell intelligens, MIT.

Återupplivandet av denna metod har upplevt under 1980-talet, något bleka i första decenniet av det nya århundradet med en fanfar tillbaka i den andra, på krönet av en otrolig utveckling av grafikkretsar och processorkraft.

"man tror att idén om vetenskap — som den epidemi av virus," sade Tomaso Poggio, Professor i kognitionsvetenskap och brain science vid MIT. "Det är, tydligen, fem eller sex stora stammar av influensavirus, och en av dem återvänder med överraskande frekvens på 25 år. Människor blir smittade, blivit immun och inte bli sjuk de kommande 25 åren. Då det är en ny generation redo att ha smittats av samma stam av viruset. I vetenskap, människor falla i kärlek med den tanken, det är det som driver alla nötter, sedan misshandlades till döds och blivit immun mot det — jag blir trött av det. Idéer bör vara liknande den frekvens".

Tunga frågor

Neurala nätverk är en metod för lärande där datorn lär sig att utföra vissa uppgifter, analysera den utbildning som exempel. Som regel är dessa exempel är märkta manuellt i förväg. Systemet är föremål erkännande, till exempel, kan absorbera tusentals märkt bilder av bilar, hus, kaffekoppar och så vidare, och då kommer att kunna hitta visuella bilder i dessa bilder som konsekvent korrelerar med specifika etiketter.

Ett Neuralt nätverk är ofta jämfört med den mänskliga hjärnan, som också har ett sådant nätverk, som består av tusentals eller miljontals enkel bearbetning noder som är nära knutna till varandra. De flesta moderna neurala nätverk är ordnade i lager av noder, och de uppgifter passera genom dem endast i en riktning. En nod kan vara förknippad med flera noder i lager under den, från vilka det erhåller data och flera noder i lagret ovan, i vilken den skickar data.

Var och en av dessa inkommande länkar nod tilldelas ett nummer — den "vikt". När nätverket är aktiv nod får olika uppsättningar data — olika nummer för var och en av dessa föreningar och multiplicerar med motsvarande vikt. Därefter summerar resultaten för att bilda ett enda nummer. Om detta antal är under ett tröskelvärde, noden inte överföra data till nästa lager. Om antalet överstiger gränsvärdet nod är "aktiverad" genom att skicka nummer — summan av de viktade indata på alla utgående anslutningar.

När det neurala nätverket tåg, vikter och trösklar är från början inställd på måfå. Utbildning data finns i det nedre lagret — input — och passera igenom nästa lager, stapla och multiplicera i ett komplext sätt, tills de slutligen anländer redan förvandlas, i produktionen lager. Under utbildningen vikter och trösklar är ständigt justeras tills den utbildning data med samma etikett som inte skulle ge liknande slutsatser.

Sinnen och maskiner

Neurala nätverk beskrivs av McCullough och Pitts 1944, och hade de tröskelvärden och vikter, men var inte organiserade i lager, och forskare inte ställa några specifika mekanismer för lärande. Men McCullough och Pitts visade att neurala nätverk kan i princip beräkna någon funktion som en digital dator. Resultatet var mer av en neurovetenskap än datavetenskap: det var nödvändigt att anta att den mänskliga hjärnan kan ses som en datorenhet.

Neurala nät fortsätter att vara ett värdefullt verktyg för att neurobiologiska studier. Till exempel, de enskilda skikten av regler nätverk eller inställningar av vikter och trösklar återges den observerade funktioner i den mänskliga neuroanatomi och kognitiv funktion, och således rörde på hur hjärnan bearbetar information.

Den Första läraktig neurala nätverk, "Perceptron" (eller "Perceptron"), har visat Cornell University psykologen Frank Rosenblatt 1957. Utformningen av "Perceptron" var lik den moderna neurala nätverk, förutom att den hade ett lager med justerbara vikter och trösklar mellan in-och utgående lager.

"Perceptrons" var aktivt studerat psykologi och datavetenskap fram till 1959, när Minsky och Papert publicerade en bok med titeln "Perceptrons", som visade att arbetet i vardag med en perceptron var opraktiskt ur synvinkel av den tid som kostnader.

"Självklart ska alla restriktioner skulle försvinna om du gör maskinerna lite mer komplicerat", till exempel, i två lager, säger Poggio. Men samtidigt som boken hade en hämmande effekt på studier av neurala nätverk.

"Dessa saker bör övervägas i ett historiskt sammanhang",säger Poggio. "Beviset byggdes för programspråk, till exempel Lisp. Strax innan detta, människor som används för analoga datorer. Det var inte tydliga vid den tiden vad som kommer att resultera i programmering. Jag tror att de gick lite överstyr, men, som alltid, är det omöjligt att dela upp allt i svart och vitt. Om vi ser det som en tävling mellan analog beräkning och digital beräkning, då de kämpade för att det var nödvändigt."

Frequency

Av 1980-talet, de år, men forskare har utvecklat algoritmer för att ändra neurala nätverk vikter och trösklar, som var ganska effektivt för nätverk med mer än ett lager, vilket eliminerar många av de begränsningar som anges Minsky och Papercom. Detta område upplevt en Renässans.

Men med en rimlig ståndpunkt i neurala nätverk saknades något. Tillräckligt länge motion kan leda till en revidering av nätverksinställningarna tills det börjar att klassificera data på ett användbart sätt, men vad dessa inställningar betyder? Vad finns det för funktioner av bilden ser Urskiljer objekt och hur han samlar delar för att bilda en visuell signatur bilar, hus och koppar kaffe? Lära sig vikten av enskilda föreningar inte svara på denna fråga.

Under de senaste åren, datavetare började tänka i sinnrika metoder för att bestämma den analytiska strategier för neurala nätverk. Men i 1980-talet den strategi av dessa nätverk var oklart. Därför, vid sekelskiftet neurala nätverk drevs vector machines, ett alternativt förhållningssätt till lärande som bygger på ren och elegant matematik.

Den Senaste tidens våg av intresse i neurala nätverk — deep learning revolution — bundna gaming industrin. Komplex grafik och snabba moderna tv-spel kräver hårdvara som kan hänga med i trenden, som introducerar GPU (grafikprocessor) med tusentals relativt enkel processorkärnor på ett enda chip. Mycket snart insåg forskarna att arkitekturen av GPU är perfekt för neurala nätverk.

Modern Grafikprocessorer har tillåtit honom att bygga upp ett nätverk av 1960-talet och två - och tre-layer nätverk av 1980-talet i buntar om 10, 15 och även 50-layer nätverk idag. Här är ansvarig för vad ordet "djup" i "deep learning". Djupet på nätet. För närvarande, djupt lärande är ansvarig för den mest effektiva i nästan alla områden av artificiell intelligens forskning.

Under huven

Opacitet nätverk är dock fortfarande i fråga om akademiker men på den här fronten, det är ett framsteg. Poggio leder ett forskningsprogram på temat de teoretiska grunderna för intelligens. För inte så länge sedan, Poggio och hans kollegor har tagit fram en teoretisk studie av neurala nätverk i tre delar.

Den Första delen, som publicerades förra månaden i International Journal of Automation och Datorer, som riktar sig till utbud av beräkningar som kan genomföra nätverk, djupt lärande och att, när den djupa webben har fördelar jämfört med den grunda. Del två och tre, som gavs ut i form av rapporter som riktar sig till de problem av global optimering, som är att garantera att ett nätverk kommer att hitta inställningar som bäst passar dess data utbildning, liksom de fall när nätverket är så väl medveten om detaljerna i utbildningen data som kan inte generalisera till andra manifestationer av samma kategorier.

Det är fortfarande en hel del teoretiska frågor, de svar som kommer har att ge. Men det finns hopp om att neurala nätverk kan slutligen bryta den onda cirkeln av generationer, som kasta dem i varmt, sedan kallt.